美文网首页
什么是网络爬虫?

什么是网络爬虫?

作者: 谦金清 | 来源:发表于2019-02-16 16:15 被阅读0次

    什么是Web Spider 网络爬虫?

    如果互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛,网络蜘蛛是通过网页的链接地址来寻找网页的。 从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。

    所以我们经常说,爬虫能否通过网址获得网络中的数据、然后根据目标解析数据、存储目标信息,节省了大量的人力物力。 

    比如想把知乎上某一个问题的高赞答案全部抓取到本地并保存,或者搜集众多机票网站的航班价格信息做价格对比, 各种论坛、股吧、微博、公众号的舆情分析,爬出四级的高频单词等。这些都归属于爬虫类,至少前期的数据搜集是属于爬虫的范畴。

    什么是网络爬虫? 什么是网络爬虫? 什么是网络爬虫?

    相关文章

      网友评论

          本文标题:什么是网络爬虫?

          本文链接:https://www.haomeiwen.com/subject/gwfieqtx.html