网络爬虫实现原理详解

• 通用网络爬虫：
  获取初始的URL；
  根据初始的URL爬取页面并获得新的URL；
  将新的URL放到URL队列中；
  从URL队列中读取新的URL，并根据新的URL爬去网页，同时从新网页中获取新URL，重复上述过程；
  满足设置的停止条件时停止爬取。
• 聚焦网络爬虫：见#395

爬行策略

深度优先爬行策略、广度优先爬行策略、大站优先策略、反链策略、其他

网页更新策略

网站更新后需要重新爬取，网站更新的频率与爬虫访问网站的频率越相近效果越好；
用户体验策略：优先更新排名结果靠前的网页
历史数据策略、
聚类分析策略

网页分析算法

• 基于用户行为的网页分析算法：用户访问频率、访问时长、单击率等对网页进行综合评价；
• 基于网络拓扑的网页分析算法：链接关系、PageRank；
• 基于网页内容的网页分析算法：数据、文本等内容特征。

身份识别

正规的爬虫一般会告诉对应网页的网站站长其爬虫身份，网站管理员则可以通过爬虫告知的身份信息对爬虫身份进行识别。
一般的，会通过HTTP请求中的User Agent字段告知自己的身份信息；爬虫访问网站时，首先会根据该站点下的Robots.txt文件来确定可爬取的网页范围，Robots协议是需要网络爬虫共同遵守的协议。

实现技术

• Python：框架丰富，多线程能力较强；
• Java：大型爬虫项目；
• PHP：后端处理很强，并发能力弱；
• Node.JS：支持高并发与多线程；
• C++:运行速度极快，适合大型爬虫项目，成本较高；
• Go：高并发；