美文网首页
内容算法 | 搜索系统的框架是什么

内容算法 | 搜索系统的框架是什么

作者: 哒哒将军令 | 来源:发表于2018-10-30 21:54 被阅读0次

通常将搜索系统分为离线和在线两部分。

其中离线部分专注于内容的搜集和处理。搜索引擎的爬虫系统会从海量网站上抓取原始内容,并针对搜索系统的不同要求建立不同的索引体系。假设新内容是有时效性消费价值的,那么,为了让新内容能被更好的检索,可以建立专门的时效性索引用于存储几小时之内发布的内容。

索引是一个基于关键词的序列,每一个关键词队应一长串提及该关键词的内容,比如,“教育”这命中了内容1,2,3,篮球命中了内容1,2,4.

在线部分负责响应用户的搜索请求,完成内容的筛选和排序。

当用户输入搜索词后,系统首先会对搜索词进行分词、变换、扩充、纠错等处理,以便更好地理解用户的搜索意图。

离线部分和在线部分都需要通过各种方式来获取待推荐的内容,对内容平台来说,内容的结构化要远胜于推荐引擎爬虫抓取的内容。

这之后,离线系统依据推荐引擎对信息的不同理解维度对这些内容进行索引化处理。在线部分同理——量化用户的请求,完成内容的筛选和排序。

推荐与搜索最大的差异在于用户表意是否明确,因此,推荐系统需要尽可能地完善用户画像和短期场景,比如用户喜欢什么,在近段时间内可能在哪个热点下喜欢什么样的内容,这样才能够通过用户的每次请求更好地揣摩用户意图。

相关文章

  • 内容算法 | 搜索系统的框架是什么

    通常将搜索系统分为离线和在线两部分。 其中离线部分专注于内容的搜集和处理。搜索引擎的爬虫系统会从海量网站上抓取原始...

  • Algorithm进阶计划 -- 回溯算法

    滑动窗口算法回溯算法框架回溯算法运用 1. 回溯算法框架 回溯算法,是类似枚举的搜索尝试过程,主要是在搜索尝试过程...

  • 变邻域搜索(VNS)

    1 局部搜索 1.1 局部搜索 局部搜索算法是对一类算法的统称,符合其框架的算法很多,比如爬山法、模拟退火算法和禁...

  • 搜索引擎算法大全(精确整理)

    搜索引擎算法及大会,包含百度算法、360算法、搜狗谷歌等,内容篇幅有点长,请认真看完。 任何系统软件都需要不断更新...

  • 基于Java实现的中文分词系统设计与实现

    目录 1.问题描述 2.相关工作 3.系统框架和算法设计 3.1系统整体框架 3.2基于HMM模型分词算法设计 3...

  • 数据结构和算法第一讲

    本讲内容: 为什么学习数据结构和算法?学习重点是什么?复杂度分析? 为什么学习数据结构和算法 阅读框架源码,理解其...

  • iTunes Search API

    目录 概述 搜索 iTunes Store 内容 搜索例子 检索例子 了解搜索结果 缓存框架 法律声明 概述 这个...

  • 第一节 人工智能的定义

    一、主要内容 智能体的概念 树搜索算法 无信息搜索策略 启发式搜索策略 约束满足问题求解 博弈算法 不确定性推理 ...

  • 如何优化搜索框?

    搜索框的设计包含很多内容,当然算法部分才是核心,但是算法之前的一切工作都是必不可少的。 搜索的优化主要分为:搜索框...

  • JZBigData - PageRank

    网页搜索系统:根据数量和质量假设,使用Pagerank算法实现网页搜索项目 传统方法 Originally Use...

网友评论

      本文标题:内容算法 | 搜索系统的框架是什么

      本文链接:https://www.haomeiwen.com/subject/wdpntqtx.html