网页的获取不一定都是有数据的，我们可定义在每个页面中需要爬取的深度[作者空间]
下载限速 如果我们爬取网站的速度过快，就会面临被 封禁或是造成服务器过载的风险。为了降低这些风险， 我们可以在两次...[作者空间]
反爬情况利用代理ip进行爬取[作者空间]
关于robots协议 Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots ...[作者空间]
链接爬虫 模拟用户点击链接，下载页面。 特点：只要足够耐心，可以下载到整个网站的所有页面。缺点：会下载很多无用页面...[作者空间]
最简单的爬取网络页面数据方式 根据链接的规律进行id遍历，但是有时id的变化不一定是连续的，加个小判断可以解决这种情况[作者空间]
