美文网首页EVA的真实故事
找到合适的数据源是个大问题

找到合适的数据源是个大问题

作者: 一百八十斤大胖子 | 来源:发表于2017-09-07 02:27 被阅读0次

随着抓取新浪微博上面人像数量越来越多,可以从聚合页上找到的优质相册已经没有了。

重新写了一个探测符合需求的爬虫,专门用来批量探测相册,目前已经探测了超过5万的推算枚举的uid,只找到8个合适的,命中率好差,还好,这个过程不需要人工干预,机器自己在跑。

发现两个新数据源,Instagram和pintrest,最后发现Instagram更靠谱,明天准备开始写爬虫!

今天,小朋友们一起抓了100不到,还算好吧~_~


PS:中午就喝多了!整个下午崩溃!

找到合适的数据源是个大问题

相关文章

  • 找到合适的数据源是个大问题

    随着抓取新浪微博上面人像数量越来越多,可以从聚合页上找到的优质相册已经没有了。 重新写了一个探测符合需求的爬虫,专...

  • ‘合适’是个大boss

    我还是为你感到惋惜为你的努力却无果而感到遗憾 世界上有很多开得很美丽的花,五颜六色香气迷人,这样的花是令人嫉羡的。...

  • 迷茫中的自我满足

    我是一个大三的学生,其实到了我们这个阶段要面临很多的问题,无论是考研上班还是寻找维护一段感情都是需要我们找到合适...

  • 有哪些「神奇」的数据获取方式?

    大数据时代,用数据做出理性分析显然更为有力。做数据分析前,能够找到合适的的数据源是一件非常重要的事情,获取数据的方...

  • 数据源

    大数据时代,用数据做出理性分析显然更为有力。做数据分析前,能够找到合适的数据源是一件非常重要的事,获取数据的方式有...

  • Qt干粮

    是个问题呀,一直没找到合适的方法。 fitInView centerOn boundingRect shape t...

  • LibreSSL SSL_connect: SSL_ERROR_

    这个问题是执行 git submodule 命令时报的错误。网上查的话貌似出现这种问题的原因挺多,没找到合适的。然...

  • Spark数据源 —— SQL数据源

    一、Spark连接SQL数据源需要为连接器提供合适的JAR包 二、JDBC 数据源选项 属性名称说明Url表示连接...

  • 学习篇-如何找到合适的人

    我们怎么找到合适的人,解决孤独难题呢? 五步心法,每一步解决一个问题: 第一步,教你如何找人; 总之,想找到合适的...

  • 思绪问题,是个大问题

    思绪问题,对我来说是个大问题,目前唯一的解决方法就是找人聊。硬憋着,只会让自己重蹈覆辙的失败,而且失败多了,就一蹶...

网友评论

    本文标题:找到合适的数据源是个大问题

    本文链接:https://www.haomeiwen.com/subject/xlybjxtx.html