美文网首页
关于爬虫,首篇

关于爬虫,首篇

作者: 4ea0af17fd67 | 来源:发表于2018-07-02 11:27 被阅读8次

补充基础知识

爬虫,毋庸置疑就是爬去互联网的网页,理论上,只要是互联网中存在的web页面,都可以爬取。用来做数据采集非常合适,尤其是现在大数据领域,爬虫必不可少。

爬虫种类有很多,了解概念可以参考百度百科

这里采用Java语言做爬虫,没有什么特别的原因,第一我用Java多,第二Java效率也挺好,第三我们的很多项目都Java的,做互相集成非常方便。当然pyhton的很多爬虫也很优秀。

爬虫框架:

java的爬虫也很多,我选了一个简单易用,方便扩展,完全开源的爬虫为基础来修改 。

壁虎:https://github.com/xtuhcy/gecco

爬虫原理

爬虫无非就是模拟浏览器和一些人们操作浏览器的动作,自动的访问网站,下载网页,然后抽取有用的网页内容,当采集的数据量达到一定数量级时,便会产生非常壮观或有价值的效果。麻烦的地方就在于很多网站有登陆、验证码、ajax、js等等技术防止你进行数据爬取。

使用爬虫基础要求:
1.了解网络基础,了解从浏览器输入网址到看到数据经历了什么,整个过程是什么。
2.可以分析web网页,可以抓包。开发过网页前端的具有css基础的即可。
3.Java语言
4.常用的一些Java框架,Spring,HttpClient,FastJson,HtmlUnit等等
5.一般一个2-3年经验的开发者,可以几个小时就能上手一个爬虫,熟练几天便可使用的游刃有余。

废话不多说,开始

分析Gecco框架,并简单改进

从今天开始,准备做一个爬虫,最简单的方式,找一个合适的开源的项目为基础,进行修改。我选了Gecco。
代码: https://github.com/xtuhcy/gecco
文档:http://www.geccocrawler.com/

先跑起来

maven引入

<!-- https://mvnrepository.com/artifact/com.geccocrawler/gecco -->
<dependency>
    <groupId>com.geccocrawler</groupId>
    <artifactId>gecco</artifactId>
    <version>1.3.0</version>
</dependency>

相关文章

网友评论

      本文标题:关于爬虫,首篇

      本文链接:https://www.haomeiwen.com/subject/nlmeyftx.html