美女写真套图爬虫（二）

作者: chenjiandongx | 来源:发表于2017-05-07 12:06 被阅读163次

爬取网站 : http://www.mzitu.com

爬取全站 3000 多套图片，整整 10 个G

有图有真相

共 79076 张图片，假设你在每张图片上停留的时间为 2 秒，你需要连续看 2636 分钟，也就是 43.9 个小时才能看完。身体要紧不能太拼命！

以为这样就完了？

too young too simple sometimes naive!

我对套图名字产生了兴趣将套图名分词后统计词频并进行处理对词频数超过 100 的词语生成条形图

看来命名也就要讲究技巧的名字一定要足够吸引眼球
性感写真美女诱惑妹子这五个词拿下前五名得票均超过 300，美腿清纯女神紧跟其后，岛国日本也出现在其中，嫩模以 102 票搭上了末班车

然后我又统计了代表着妹子胸围的字母生成了条形图

G 真的是一柱擎天，E 和 F 排在第二梯队。我们再来看看胸围的百分比情况

G 的比例是最大的，高达 42%，E 加上 F 也基本上有半壁江山了

视觉冲击还不够大？那来一张词云吧

这图真的不忍直视阿

Github地址：https://github.com/chenjiandongx/mzitu

欢迎 Fork 和 Star

网友评论

54d7ffabb63a:牛逼了我的哥我决定这几天就是学习你这个教程

chenjiandongx:@石洋洋是的如果文件夹已经建立但是里面还没有下载过图片那下次运行还会继续下载如果里面已经有图片但是数量不全的话就不会重新下载了因为整个检测是以整套图为基础的 threading.Lock() 这个用于保证不会A套图的图片下载到B套图的文件夹里用了一个封装了进程的更高级的模块所以就不需要这两个函数还有谢谢你的打赏

54d7ffabb63a:@chenjiandongx 终于看的似懂非懂了用你的轮子爬了另外一个网站的图片爽歪歪。。同时也有几个疑问希望能解答下。第一个就是除重是通过检查folder是否建立，如果说一个套图只下到了一半，下次启动应该是不会下载了吧？这里可以在哪里改下？其次第一次看到 threading.Lock()这个用法初学没多久能否简单解释下作用，第三就是多进程为什么没有pool.close(),pool.join() 函数明天要研究如何做成图表感觉好屌哈哈~~ 希望你有空的时候帮忙解答下，，小小打赏，以兹感谢！

chenjiandongx:

欢迎交流

54d7ffabb63a:牛逼了我的哥我决定这几天就是学习你这个教程
chenjiandongx:@石洋洋是的如果文件夹已经建立但是里面还没有下载过图片那下次运行还会继续下载如果里面已经有图片但是数量不全的话就不会重新下载了因为整个检测是以整套图为基础的 threading.Lock() 这个用于保证不会A套图的图片下载到B套图的文件夹里用了一个封装了进程的更高级的模块所以就不需要这两个函数还有谢谢你的打赏
54d7ffabb63a:@chenjiandongx 终于看的似懂非懂了用你的轮子爬了另外一个网站的图片爽歪歪。。同时也有几个疑问希望能解答下。第一个就是除重是通过检查folder是否建立，如果说一个套图只下到了一半，下次启动应该是不会下载了吧？这里可以在哪里改下？其次第一次看到 threading.Lock()这个用法初学没多久能否简单解释下作用，第三就是多进程为什么没有pool.close(),pool.join() 函数明天要研究如何做成图表感觉好屌哈哈~~ 希望你有空的时候帮忙解答下，，小小打赏，以兹感谢！
chenjiandongx: 欢迎交流

美女写真套图爬虫（二）

Github地址：https://github.com/chenjiandongx/mzitu

欢迎 Fork 和 Star

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

一起学python

生活不易我用python

美女写真套图爬虫（二）

Github地址：https://github.com/chenjiandongx/mzitu

欢迎 Fork 和 Star

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

一起学python

生活不易 我用python

生活不易我用python