【作者：0han 未经授权请不要转载】
8/29更新：
由于发现昨天的代码所爬的网站资源太少，而且没有翻页，所以换了一个网站，kuaidaili，并且使用loop in loop 实现逐页逐行爬取，并且前面的代码有个小错误，proxy={}这个字典应该放置在循环之外，否则文件只会储存爬取的最后一个结果，修改后的代码如下:
更新
#disp只是方便在运行时实时看爬取的进展
这个loop in loop 抽象理解为当n=0时打开第n+1也就是第1页，然后在第一页逐行抽取表格中的第j+1栏的信息，cuz j begins 0. for j in range(10) 是因为那个网站每页代理ip有10栏。
===================================
okay 这篇文章所述内容是为了我另一篇文章《ins水军来袭...》写的，ip代理是爬虫中很重要的一个部分所以分开来写。因为我发现那个脚本在批量注册ins账号时，注册两三个后就开始失败了，所以我意识到有可能是ins对ip频繁post请求一类的有所注意和采取措施。所以有必要给ins爬虫准备代理ip。网上有很多给python爬虫装备代理ip的教程，但他们大多都避开了代理ip来源的问题，你当然可以自己准备一个一堆ip地址和port的list供爬虫装备。但是我选择再写一个爬虫脚本自动从一些代理ip网站上爬代理ip列表。
环境：python3 + 谷歌浏览器
使用的库： requests+beautifulsoup4+pickle（序列化）
Talk is cheap， 上代码：
主要代码
首先是一个循环，用函数的方式（go(i)）. get请求用requests库，用bs4的css选择器进行筛选（我花时间最长的地方）。目标网站是cn-proxy.com，一个提供代理ip的网址。
爬取之前不要忘了加header。先创建一个空字典proxy={}，是为了讲爬好的ip:port装进去方便ins爬虫使用。下面这幅图是使用谷歌浏览器的开发者工具分析网页元素：
图片中所选择的地方是随机找了一栏
可以发现ip地址的标签位于tr > td下，port的位置也位于tr > td 下。通过右键这个位置，copy-selector, 在粘贴到sublime里看是这个样子：
开发者工具结果
可以发现这个地址虽然都是tr > td， 但是靠括号（）里的数字不同来区分不同的元素。根据几次报错，bs4里要表示这种“隐藏的分类”使用“nth-of-type(数字)”而不能直接写成 td: nth-child(数字) 所以关于css选择器，最后的代码如下：
css选择器 select想要的元素，也就是选择出ip和端口
中间我用了str(n+1)，结合上面的代码你会发现n为if循环中的第n次。n+1是因为第一个n的值是0，不是1，tr标签中括号的最小值是（1），所以用n+1，这样第一次开始就是tr:nth-of-type（1）.
在主要代码的最后会发现我加了一个openfile()函数，那主要是为了测试pickle这个库，在go()函数的最后我不仅将爬到的每一次结果都保存到了txt文件里，同时利用pickle库dump到了一个后缀名为pickle的文件中，这是为了在ins爬虫里方便直接提取代理数据。关于pickle的用法请谷歌pickle库
openfile（）函数主要就是测试是否能正常提取pickle文件中刚刚爬到的数据，所以我把循环设置成了一次来做实验，结果如下图所示：
运行结果
成功了，如何利用代理数据还请移步《ins水军来袭》那篇文章
网友评论