这几日一直在研究Java爬虫，经历了入坑又爬坑的感觉，在知乎找Java爬虫框架，找到了一款心仪的框架，而且是国人开发，浏览了文档说明手册，感觉挺好上手，支持正则、jQuery、XPATH选择语法，自己好借鉴以前使用Python Scrapy框架的经验，一顿内心狂喜之后，开始了正式上手Java爬虫的计划，阅读到这里，尴尬的事情出现了。
WebMagic手册
Maven是个啥？学Java的时候怎么没有听说过？算了，搞吧，自己学习能力这么强应该没啥大问题，就在慕课网里找到了课程刷了起来。
慕课网Maven课程
看了一遍，只知道Maven是干什么，怎么用是一点都不懂，在知乎里又搜了Maven，看到有人说Maven是如何如何的了不起，可是自己丝毫没有感到，就知道Maven的入门门槛有点高，一般课程看一遍就能明白是个啥以及大致怎么做了，但是Maven这个课程是前前后后看了好多遍，还要边看边做便理解才能慢慢体会到其中的强大！
Maven可以干什么？如果接触过Python，学习了Maven之后发现它真的很像Pip，把别人造的轮子通过很轻松的方式就可以为你所用，学习Maven之前，各种Jar包都是独立存在的，学过Maven之后各种Jar包都能和你产生关系，只需要喊一声我要使用哪个公司的哪个版本的工具jar包，就可以用了，不用到处找Jar包了，依赖关系也轻松解决，jar包的使用可以精确的控制。
如果还没听懂，那来一个更简单的例子，电脑下载软件需要到各个软件公司的官网上去下载，没有统一的“市场”去管理，导致找个软件可能要费很多波折，苹果手机的App Store统一了苹果手机应用的下载和更新，所有苹果应用都汇总在App Store，所有里面的应用很全面，每个应用但按照规范定义版本号，通过App Store可以管理应用的更新，我们使用的时候可能浑然不知，但是想想如果没有这样的方式，很多简单的需求处理起来会变得复杂的很多，安卓早期也是如此。
Maven既然这么强大，就来小窥一下。
按照上面手册说明的来。在自己的项目（已有项目或者新建一个）中添加以下坐标即可：
<dependency>
<groupId>us.codecraft</groupId>
<artifactId>webmagic-core</artifactId>
<version>0.7.3</version>
</dependency>
<dependency>
<groupId>us.codecraft</groupId>
<artifactId>webmagic-extension</artifactId>
<version>0.7.3</version>
</dependency>
刚开始的时候鬼知道这什么意思哦，其实就是使用Maven定义的方式管理项目依赖。笔者使用的是IDEA集成开发环境，所有很多步骤省略了，要真正掌握Maven还是需要都明白才行，这里就不知一一讲解了。
项目目录
pom.xml文件
粘贴进去，然后神奇的事情就会发生，哈哈哈，不买关子了，框架相关的依赖Jar包自动给我们添加好了。
依赖关系
看到这么多数量的依赖，想想没有Maven的话，一个个去找，得多麻烦，有Maven后只是复制粘贴的事情。真的是工欲善其事必先利其器，好工具可以大大提升工作效率。
前前后后因为爬虫去学了Maven，然后再Maven折腾了至少两天时间，然后又回头研究爬虫，真正在爬虫上花的时候并不多，基本对着手册一顿操作操作就可以了。这次也算收货不小，像是之前折腾git一样，不会的时候觉得没有你难道就不行了，会了之后哈哈哈，这不就是典型的真香定律嘛，哈哈哈哈。现在沉迷GitHub，估计又要沉迷会Maven了，大神造的轮子都在上面随便用呢。
学习这事不能放弃，死磕到底就行了（各位看官放下手中的砖头，具体情况具体来就好~）。
网友评论