https://github.com/wangshusen/SearchEngine

搜索引擎原理
https://github.com/wangshusen/SearchEngine

Last synced: about 1 month ago
JSON representation

搜索引擎原理

• Host: GitHub
• URL: https://github.com/wangshusen/SearchEngine
• Owner: wangshusen
• Created: 2022-10-30T12:53:42.000Z (about 2 years ago)
• Default Branch: main
• Last Pushed: 2024-04-19T13:53:25.000Z (8 months ago)
• Last Synced: 2024-08-02T14:05:02.885Z (4 months ago)
• Size: 7.99 MB
• Stars: 1,340
• Watchers: 20
• Forks: 108
• Open Issues: 5
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

• awesome-ai-papers - [SearchEngine - labs](https://github.com/elastic/elasticsearch-labs)\]\[[tevatron](https://github.com/texttron/tevatron)\] (NLP / 3. Pretraining)
• awesome-ai-papers - [SearchEngine

README

        
# 搜索引擎技术

1. **搜索引擎基础**

    * 搜索引擎的基本概念

    [[slides](https://github.com/wangshusen/SearchEngine/blob/main/Slides/01_Basics_01.pdf)]

    [[YouTube](https://youtu.be/ddi6_rGEIdk)]

    [[Bilibili](https://www.bilibili.com/video/BV1Wr421b7uP/)]

    

    * 什么决定用户满意度？

    [[slides](https://github.com/wangshusen/SearchEngine/blob/main/Slides/01_Basics_02.pdf)]

    [[YouTube](https://youtu.be/MjdAP_bqMFk)]

    [[Bilibili](https://www.bilibili.com/video/BV1Lm421J7Xz/)]

    * 搜索引擎的评价指标

    [[slides](https://github.com/wangshusen/SearchEngine/blob/main/Slides/01_Basics_03.pdf)]

    [[YouTube](https://youtu.be/_1_-dvNAMlo)]

    [[Bilibili](https://www.bilibili.com/video/BV1BT421m7UQ/)]

    * 搜索引擎的链路

    [[slides](https://github.com/wangshusen/SearchEngine/blob/main/Slides/01_Basics_04.pdf)]

    [[YouTube](https://youtu.be/V1BrdtN2d30)]

    [[Bilibili](https://www.bilibili.com/video/BV1UM4m1D7L3/)]

    

2. **相关性**

    

    * 相关性的定义与分档

    [[slides](https://github.com/wangshusen/SearchEngine/blob/main/Slides/02_Rel_01.pdf)]

   

    * 相关性的评价指标

    [[slides](https://github.com/wangshusen/SearchEngine/blob/main/Slides/02_Rel_02.pdf)]

    

    * 文本匹配分数

    [[slides](https://github.com/wangshusen/SearchEngine/blob/main/Slides/02_Rel_03.pdf)]

    

    * 相关性BERT模型及其推理

    [[slides](https://github.com/wangshusen/SearchEngine/blob/main/Slides/02_Rel_04.pdf)]

    * 相关性BERT模型的训练

    [[slides](https://github.com/wangshusen/SearchEngine/blob/main/Slides/02_Rel_05.pdf)]

3. **查询词处理**

    * 分词：基于字典匹配的方法 & 新词发现

    * 分词：基于深度学习的方法

    * 词权重 (Term Weight)

    * 类目识别

    

    * 意图识别

    * 查询词改写

    

4. **召回**

    * 倒排索引和文本召回

    * 向量召回

    

    * 缓存召回

5. **排序** 

    * 排序的原理

    * 融合模型的训练方法

6. **查询词推荐** 

    * 查询词推荐的场景

    * 查询词推荐的召回

    

    * 查询词推荐的排序