常见业务

一、搜索引擎概述

桥梁——引导用户找到所求

满足用户需求的过程

连接人与内容、人与服务

1.三段式结构

2.基于MapReduce的建库系统（建库流）

网页库->Downloader(Hadoop)->网页文件(HDFS)->Parser(Hadoop)->处理过的网页文件(HDFS)->Interver(Hadoop))->小索引文件(HDFS)->Index Merger(Hadoop)->正式索引文件(HDFS)

目的：建立供检索使用的索引和摘要

输入:网页

输出:索引和摘要

处理:多轮map-reduce

页面分析和处理(parser-extractor)

页面属性小库输出(splitter)

小库正排转倒排(invert-index)

小库合并大库(index merge)

二、广告系统概述

搜索 广告点击计费：CPC

展示广告展现计费：CPM

淘宝客：CPS

1.淘宝广告系统简介：

搜索广告：

参与的三方：网民、广告主、搜索平台

广告触发：keyword Tartgeting：

广告主和网民通过关键词表达需求

网民输入的query和广告主购买的keyword进行匹配

CTR预估(click/show):机器学习：

点击率用于广告的排序和推左

保护网民的利益和提升搜索引擎的收益

广告排序:关键词广告拍卖机制：

每一次的广告展现都是一次动态的拍卖

排序函数:ctr*bid

三、知名推荐系统架构

NetFlix

界面UI那一块包含3块东西:1) 通过一定方式展示推荐物品(物品标题、 缩略图、简介等);2) 给的推荐理由;3) 数据反馈改进个性化推荐;

关于用户数据的存放地方:1)数据库/缓存用来实时取数据;2) hdfs文 件上面;

抽象出三种推荐方式：

推荐引擎的构建来源于不同的数据源(也就是用户的特征有很多种类，例如统计的、 行为的、主题的)+不同的推荐模型算法，推荐引擎的架构可以是多样化的(实时推荐 的+离线推荐的)，然后融合推荐结果(人工规则+模型结果)，融合方式多样的，有 线性加权的或者切换式的等。

HULU推荐架构：

优酷推荐架构：