关于搜索引擎架构理解

作者: sarah_晴 | 来源:发表于2015-03-05 16:40 被阅读447次

1、搜索引擎流程


如图,整个搜索引擎逻辑可以理解成两条线,上面是需求理解,下面是资源管理,然后合理的让资源以符合用户需求的方式给出,就是搜索引擎做的事情。

所以,总结为以下3件事:需求理解、资源管理、匹配逻辑

2、检索关系图

各个模块的工作

master(M1/M2)是大脑,控制中心,负责进行全局调控,外加整合处理;

QS负责用户的需求理解分析

GS负责对页面整体排序

RS是对结果的包装和美化

各个模块的具体工作:

M1:

连接Master1(Gs),接收Master2-Gs排序后返回的结果

连接LBS、外部整合、KS 等服务

负责大库数据 与 LBS、外部整合、KS的混排工作

负责整体结构化结果聚合工作

QS热度 + 结构化聚合策略 + Gs结果信息 = 共同指导混排

【整合结果层:策略来源QS,决定者M1】

QS:

需求分析,可以提供query分类、核心词、同义词、实体词等信息

M2:

连接各类worker-IS检索集群

通过QS、GS策略 执行 检索调度

获取IS数据发送GS 进行全局排序

获取DI

【大库搜索结果层:决定者GS】

QS:

Query解析、变换

Query用户需求识别

需求类别热度识别(排序参照)

QT 含 内部、外部整合、LBS query类别召回

Query实体词识别

连接纠错、新闻词server 识别纠错词、新闻词

GS:

从Master2获取IS检索结果

进行全局结果排序

(暂不包括 外部整合与LBS排序)

IS:

根据Query特征对索引进行检索,结合网页特征及Query特征,基本确定相关网页集合

3、 网页结果构成

可以从query的理解上研究怎样找到最好的给出结果的方式(即上面说的第三件事,匹配逻辑);

也可以从搜索结果的来源上,研究怎样逐一优化,这种方式可以理解为上面说的第二件事,资源管理;

4、系统架构图

检索关系图可以看成是对搜索引擎的业务的横向理解,即理解用户从输入query到结果呈现的过程是怎样的;

系统架构图可以看成是纵向理解;

相关文章

  • 关于搜索引擎架构理解

    1、搜索引擎流程 如图,整个搜索引擎逻辑可以理解成两条线,上面是需求理解,下面是资源管理,然后合理的让资源以符合用...

  • 搜索引擎之技术架构

    本文约 2200 字,建议阅读时间 4 分钟,理解为主。 在开始讲述搜索引擎技术架构之前,大致阐述下搜索引擎的基本...

  • 搜索

    一、全网搜索引擎架构与流程 全网搜索的宏观架构长啥样? 全网搜索的宏观流程是怎么样的? 全网搜索引擎的宏观架构如上...

  • 关于MVC架构的理解

    今天是开工第一天,首先呢,先祝广大的简友新春快乐!这也是公司版本迭代的空闲期间,没事的时候可以看(chui)看(c...

  • 比特币、以太坊的区块链架构比较及浅析(上)

    前言:如何针对一个系统快速建立架构层面的理解,在《区块链技术指南》一书中关于“架构”的定义有很好的阐述,即“架构有...

  • 搜索引擎新架构:与SQL不得不说的故事

    简介:本话题将围绕阿里巴巴搜索引擎HA3架构,和大家详细阐述搜索引擎在面对架构深度学习和数据规模的挑战时,如何以数...

  • 搜索引擎工作原理解析

    本篇文章从整个搜索引擎架构技术大框架方面来学习,搜索引擎工作原理。 1 搜索引擎基本模块 2 爬虫 网络爬虫(We...

  • python(12)实践Django-Restful API

    关于Restful API,可阅读理解RESTful架构和RESTful API 设计指南。 在Django中要实...

  • 阿里巴巴搜索引擎新架构:与SQL不得不说的故事

    本话题将围绕阿里巴巴搜索引擎HA3架构,和大家详细阐述搜索引擎在面对架构深度学习和数据规模的挑战时,如何以数据库S...

  • 搜索引擎之爬虫

    本文约2300字,建议阅读时间为5分钟,理解为主。此处,强烈建议查看上一篇《搜索引擎之技术架构》。 上一篇《搜索引...

网友评论

    本文标题:关于搜索引擎架构理解

    本文链接:https://www.haomeiwen.com/subject/ufnmxttx.html