网络爬虫

什么是网络爬虫

• 官方描述：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常被称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本，已被广泛应用于互联网领域。搜索引擎使用网络爬虫抓取Web网页、文档甚至图片、音频、视频等资源，通过相应的索引技术组织这些信息，提供给搜索用户进行查询。网络爬虫也为中小站点的推广提供了有效的途径，网站针对搜索引擎爬虫的优化曾风靡一时。
• 个人描述：我不是太想用官方的语言来描述，用我自己的理解就是：互联网上的信息太多了，我们自己制作一个程序，对互联网上自己想要的信息进行抓取(分为抓和取两个阶段)。因为它爬呀爬的机制很像蜘蛛，所以网络爬虫又叫网络蜘蛛，网络机器人等等等......

larbin学习经过

• 在这上的学习我是失败的，啊！我似loser。

larbin是啥？

• 官方解释：larbin是一种开源的 网络爬虫/ 网络蜘蛛，由法国的年轻人Sébastien Ailleret独立开发，用c++语言实现。larbin目的是能够跟踪页面的url进行扩展的抓取，最后为搜索引擎提供广泛的数据来源。 Larbin只是一个爬虫，也就是说larbin只抓取网页，至于如何parse的事情则由用户自己完成。另外，如何存储到数据库以及建立索引的事情 larbin也不提供。
• 个人描述：还是算了吧......

larbin安装经过(我觉得我安装的有问题)

1. 从官网上获取源码包：larbin.2.6.3
2. 安装会出现系列错误，不过没事，网上解决方案一大堆
   1. adns文件夹下internal.h文件569-571行：

   adns_status adns__parse_domain(adns_state ads, int serv, adns_queryqu,
        vbuf *vb, parsedomain_flags flags,
        const byte *dgram, int dglen, int *cbyte_io, int max);
   改为
   adns_status adns__parse_domain(adns_state ads, int serv, adns_query qu,
        vbuf *vb, adns_queryflags flags,
        const byte *dgram, int dglen, int *cbyte_io, int max);
   

   2. 输入sudo ./congure 出现错误

   make[2]: 正在进入目录 `/home/byd/test/larbin-2.6.3/src/utils'
   makedepend -f- -I.. -Y *.cc 2> /dev/null > .depend
   make[2]: *** [dep-in] 错误 127
   make[2]:正在离开目录 `/home/byd/test/larbin-2.6.3/src/utils'
   make[2]: 正在进入目录 `/home/byd/test/larbin-2.6.3/src/interf'
   <span style="color: #ff0000;"><strong>makedepend</strong></span> -f- -I.. -Y *.cc 2> /dev/null > .depend
   make[2]: *** [dep-in] 错误 127
   make[2]:正在离开目录 `/home/byd/test/larbin-2.6.3/src/interf'
   make[2]: 正在进入目录 `/home/byd/test/larbin-2.6.3/src/fetch'
   makedepend -f- -I.. -Y *.cc 2> /dev/null > .depend
   make[2]: *** [dep-in] 错误 127
   make[2]:正在离开目录 `/home/byd/test/larbin-2.6.3/src/fetch'
   make[1]: *** [dep] 错误 2
   make[1]:正在离开目录 `/home/byd/test/larbin-2.6.3/src'
   make: *** [dep] 错误 2
   

   • 上边提示makedepend有问题，于是输入makedepend，提示makedepend 没安装，但是可以通过

   sudo apt-get install xutils-dev
   

   3. 到/usr/include/c++/下CP一份iostream文件到larbin的src目录下。并将其名改为iostream.h，在文件中添加一句

   using namespace std;
   

   然后，继续

   make
   

   (复制粘贴真爽)
3. 其中各种文件的配置注释可见链接
   link

4. 这时候，进入亲爱的larbin目录下运行./larbin进入亲爱的浏览器界面输入localhost：8081
   所示如下......

   
   Paste_Image.png
5. 我信心满满的开始继续搞事情。然后.......

   • 说好的，larbin.conf查看端口

     
     Paste_Image.png

   • 在终端下输入telnet localhost 1976然后......大牛告诉我应该是这样的

     
     Paste_Image.png
     

     我的是这样的

     
     Paste_Image.png
   • 我信心满满的告诉自己，洒洒水啦，简单so easy啦。我的世界观开始从此崩塌。
   • 我去问了度娘，好像有几百种+答案，这时候我恨不得搞个爬虫来爬我想要的搜索结果。在我的爆肝总结下，有几种最有可能：
     1. 端口被占用
     2. telnet没有配置好
     3. telnet会造成系列不祥的后果
     4. 就是不给用，咋地。
     5. 省略+++条
6. 经历了漫长的整改过程，期间我下了n多的安装包，配置了n多的文件，终于！在一个星期后！
   • 我
   • 的
   • 虚
   • 拟
   • 机
   • 被
   • 玩
   • 炸
   • 了
   • ！
   • ！
   • ！
   • 记得那一天，上天，安排你，来到我身边，说好的陪我，在开发的道路上，走向永远.......我的项目！！！！，我用中华文化上下五千年历史沧桑久经风雨的博大精深的语言也表达不了我心里那......还我虚拟机！！！！，你要是在我做系统网络项目之前告诉我会在中途把我的虚拟机嘿嘿嘿搞坏掉。对不起.......我做好了吃国家饭的准备。可是，是我自己折腾坏的。我咋就管不住我这双手呢！......
7. 你以为我把虚拟机搞坏了什么数据都没备份一切都要从头再来我就会放弃？哼哼，那你也把我看得太简单了。

scrapy学习经过

• 嗯哼，官方解释：Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。 Scrach，是抓取的意思，这个Python的爬虫框架叫Scrapy，大概也是这个意思吧。
• 那个，心里嘀咕larbin去哪的那位，泥奏凯。个人解释：嘿嘿，简单来说就是，使用python的。里面包含的框架特别适合搞爬虫。

scrapy安装之路

• 当我选择了这条路，我心里有点方......
• 因为为没有半点的Python基础，要问我在经过这段时间的学习以后，python水平怎么样让我们进入下个话题。
  首先，我在因特奈特上找scrapy的安装配置，一找一大把。

1. 查看系统是否自带安装scrapy的所需库等
   • 在终端下输入python，ubuntu一般都会自带python，但是16.04迷你版并没有自带，所以请自行安装，并且我也不知道怎么安装。
   • 接着输入import lxml

   • 再输入import OpenSSL

     
     Paste_Image.png
   • 没有报错，说明系统已经自带，不需要操心。
2. 输入以下指令
   • sudo apt-get install python-dev
   • sudo apt-get install libevent-dev
   • sudo apt-get install python-pip
     • pip用来安装scrapy66的。
   • sudo pip install Scrapy

   • scrapy 出现以下界面

     
     Paste_Image.png

scrapy应用之路

• 尼古拉斯.特劳妮杰姆斯.徽徽在网上看到人说：从网上找个项目进行修改远比从hello world开始的快。对这句话，我现在持中立态度。
• 我在网上找了三个程序，进行模(chao)仿(xi)。
  1. 简书爬取简书热门文章
  2. 煎蛋网爬取美女图片(羞羞......)
  3. 爬取网站内指定的store_name(链接遗失)
  4. 实际上找的远不止三个，但是大都无疾而终，所以我选择了几个比较感兴趣而且实用的抓取。
• 首先，在我安装完scrapy后，我迫不及待的打开终端准备看看他的英姿。
  1. 输入指令创建工程：scrapy startproject XXX

  2. 在目标目录下会生成一个工程

     
     Paste_Image.png

  3. 其中的树状结构如下，使用tree指令

     
     Paste_Image.png

     抱歉~我还没有删除。对于其中重要文件的讲解网上也是一搜一大堆。

     • scrapy.cfg: 项目的配置文件，一般无需修改。
     • tutorial/: 该项目的python模块。之后您将在此加入代码。
     • items.py: 项目中的item文件，该文件存放的是抓取的类目，类似于dict字典规则。
     • pipelines.py: 项目中的pipelines文件，该文件为数据抓取后进行数据处理的方法。
     • settings.py: 项目的设置文件，可以设置请求的request header、cookie等
     • spiders/ 放置spider代码的目录。
• 对这些有了初步认知后，我便仿照那些程序进行修改。抛去失败的那些项目，最后终于能够爬取了。但也有一些问题：
  1. 生成了目标.csv文件，但是大小为0字节

  2. 爬取过程中卡住，虽然生成了目标文件夹，但是图片都是无内容。

     
     Paste_Image.png

  3. 爬取结束finished但是没有结果生成，只在终端上显示(我其实不是太确定我是不是真的在终端上显示了)

     
     Paste_Image.png

总结

• 不要问我为什么，为什么突然调转到这里。我面对这窗外的寒风，对不起党，对不起社会，对不起人民，对不起中华人名共和国，对不起彭老师对我的信任.....爬虫之路任重而道远，但是我坚信，有一天我可以在网上爬取我心爱的......
• 任重而道远....