探索技术的路上本应该自己造轮子，即使市面上有再多的选择，自己动手尝试也是必要的，第一次尝试必然会问题众多，但你不觉得解决他是一件很有成就感的事情吗，这样才能带给你更大的进步和更深刻的领悟。
如果没有写过的并感兴趣的不妨一起来实现一下这个简单的爬虫。
其实用golang实现爬虫是很简单是事情，但也分情况，我们这次的文章就分享一种最简单的爬虫实现方式，用到的官方库如下：
引用包
如果你能单单通过这些库就想到该怎么做了，那你就很棒棒了。
为了让程序能一直运行下去，我们首先要有一个源网页，然后不断爬抓记录新的链接，记录的手段有很多，比如存在数据库、通过redis缓存、存在文本文件，最简单的应该就是存在数据库了，这个看你们的技术偏向了。我打算把爬来的链接储存在文本文件里。
首先，了解自己爬抓的目标，我准备爬取所有的Golang相关答疑或者文章，然后翻来覆去很多网站都感觉不适合做源网址，然后灵机一动，百度一下
然后就用这样作为源网址吧：百度一下 - Golang实现
有了源网址，那下面的事情只要捋顺就好办了。首先我们为了抓取到链接，需要一个正则表达式
因为这个正则表达式我们后面可能会复用，所以可以存到一个全局变量里。
一个爬虫如果不限制分秒爬抓次数，那你的网络肯定会受不了，如果电脑配置不行的话，电脑也会挂掉，所以我们需要写一个计时器，golang已经提供了计时器的包 => time
为什么要写在一个Timer函数里？当然是用来调用的 /手动滑稽
因为我们存在两种情况，第一次爬取或不是第一次爬取的情况是做不同操作的。那要怎么判断呢？因为我们的链接是储存在txt文件里的，所以我们只需要去查txt文件是不是为空，如果为空就认为他是第一次执行程序，先访问源网址，否则就按照文件里的链接依次访问。
代码如下：
那我们先看一下firstStart()函数，稍后再解释代码：
很抱歉，没有注释习惯
其实很简单，就是发起一个get请求，然后你会获取到byte[]类型的数据，转换成string类型之后，就是网页的代码了。
分解一下（了解原理的跳过这段）：
这段主要是发起一个get网络请求，然后把请求到的byte数据转成stirng类型的数据，跳过正则获取匹配链接获取一个链接数组（不过分赘述，如果还不懂http请求可以另寻百度）
通过循环数组，首先对链接里的特殊符号做特出处理，然后通过checkRegexp函数做查重，就是防止有多个重复链接记录导致浪费资源，最后存入txt文件。
checkRegexp函数：
这里，程序的首次执行已经完成，并可以成功记录爬取的链接了。程序执行如下：
下一篇继续讲如何通过这些记录的链接过滤无用爬取有效内容，如果在上面的代码中，还有疑问或发现惊天大Bug可以私聊
网友评论