美文网首页一起学python生活不易 我用python
美女写真套图爬虫（二）

美女写真套图爬虫（二）

作者: chenjiandongx | 来源:发表于2017-05-07 12:06 被阅读163次

爬取网站 : http://www.mzitu.com

爬取全站 3000 多套图片，整整 10 个G

有图有真相

共 79076 张图片，假设你在每张图片上停留的时间为 2 秒，你需要连续看 2636 分钟，也就是 43.9 个小时才能看完。身体要紧不能太拼命！

以为这样就完了？

too young too simple sometimes naive!

我对套图名字产生了兴趣 将套图名分词后统计词频并进行处理 对词频数超过 100 的词语生成条形图

看来命名也就要讲究技巧的 名字一定要足够吸引眼球
性感 写真 美女 诱惑 妹子 这五个词拿下前五名 得票均超过 300，美腿 清纯 女神 紧跟其后，岛国 日本 也出现在其中，嫩模 以 102 票搭上了末班车

然后我又统计了代表着妹子胸围的 字母 生成了条形图

G 真的是一柱擎天，E 和 F 排在第二梯队。我们再来看看胸围的百分比情况

G 的比例是最大的，高达 42%，E 加上 F 也基本上有半壁江山了

视觉冲击还不够大？ 那来一张词云吧

这图真的不忍直视阿

Github地址：https://github.com/chenjiandongx/mzitu
欢迎 Fork 和 Star

相关文章

网友评论

  • 54d7ffabb63a:牛逼了 我的哥 我决定这几天就是学习你这个教程 :grin:
    chenjiandongx:@石洋洋 是的 如果文件夹已经建立但是里面还没有下载过图片那下次运行还会继续下载 如果里面已经有图片但是数量不全的话就不会重新下载了 因为整个检测是以整套图为基础的 threading.Lock() 这个用于保证不会A套图的图片下载到B套图的文件夹里 用了一个封装了进程的更高级的模块 所以就不需要这两个函数 还有谢谢你的打赏:smiley:
    54d7ffabb63a:@chenjiandongx 终于看的似懂非懂了 用你的轮子爬了另外一个网站的图片 爽歪歪。。同时也有几个疑问希望能解答下。 第一个就是除重是通过检查folder是否建立，如果说一个套图只下到了一半，下次启动应该是不会下载了吧？这里可以在哪里改下？其次 第一次看到 threading.Lock()这个用法 初学没多久 能否简单解释下作用， 第三就是多进程为什么没有pool.close(),pool.join() 函数 明天要研究如何做成图表 感觉好屌 哈哈~~ 希望你有空的时候帮忙解答下，，小小打赏，以兹感谢！
    chenjiandongx::smile: 欢迎交流

本文标题：美女写真套图爬虫（二）

本文链接：https://www.haomeiwen.com/subject/syyutxtx.html

延伸阅读

深度阅读

  • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

栏目导航

热点阅读

一起学python

生活不易 我用python

关于我们|服务条款|联系我们|美女写真套图爬虫（二）|投稿指南|网站地图|RSS订阅|排版工具|手机版

提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！