关于爬虫
你是否在夜深人静的时候，想看一些让你更睡不着的图片
你是否在考试前夕或者面试前夕，想看一些具有针对性的题目和面试题
你是否想在杂乱的网络世界中获取你想要的数据
什么是爬虫：
通过编写程序，模拟浏览器，去互联网上抓取我们想要的数据的过程
爬虫的合法性
爬虫不被法律禁止 快播王欣 技术本无罪
但有法律风险
爬虫干扰被访问网站的正常运营
爬取受法律保护的特定类型的数据和信息
如何避免法律风险
时常优化爬虫程序，避免干扰网站的正常运行
审核程序爬取到的数据，当发现数据涉及到用户隐私和商业机密等，及时停止爬取和传播
爬虫在使用场景中的分类
通用爬虫
搜索引擎的抓取系统重要组成部分，抓取的是一整张页面数据
聚焦爬虫
是建立在通过爬虫的基础之上，抓取的是页面中特定的局部内容
增量式爬虫
检测网站中数据更新的情况。只会抓取网站中最新更新出来的数据
爬虫的矛与盾
反爬机制
门户网站，可以通过制定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取
反反爬策略
爬虫程序可以通过制定相关的策略或者技术手段，破解门户网站中具备的反爬机制，从而可以获取门户网站的数据信息
rebots.txt协议
君子协议 规定了网站中哪些数据可以被爬虫爬取，哪些数据不可以被爬取
历史上第一桩关于爬虫的官司诞生在2000年，eBay将一家聚合价格信息的比价网站BE告上了法庭，eBay声称自己已经将哪些信息不能抓取写进了爬虫协议中，但BE违反了这一协议。但BE认为eBay上的内容属于用户集体贡献而不归用户所有，爬虫协议不能用作法律参考。
HTTP协议(超文本传输协议)
概念：就是服务器和客户端进行数据交互的一种形式
常用请求头信息
User-Agent：请求载体的身份标识
Connection:请求完毕后，是断开链接还是保持链接
常用响应头信息
Content-Type:服务器响应回客户端的数据类型
HTTPS协议
安全的超文本传输协议
加密方式
对称秘钥加密
非对称秘钥加密
证书秘钥加密
网友评论