美文网首页
Python 异步,协程,学起来好头疼,Python爬虫程序能调

Python 异步,协程,学起来好头疼,Python爬虫程序能调

作者: 梦想橡皮擦 | 来源:发表于2022-01-09 18:43 被阅读0次

    78 技术人社群日报时间

    @[toc]

    Python 爬虫程序能调用 GPU 去爬东西吗?

    f849c4e5b3a14e3f8cbdc3f560a540ce[1].png

    用不到,可能很多朋友都认为 GPU 可以挖矿,算力高,可以用 GPU 提高爬虫的速度。
    但是爬虫的性能瓶颈在 IO,并不在计算,所以不需要 GPU 的,
    想爬的更快,用协程+分布式就足够了。

    Python 异步,协程……,学起来好头疼

    然后有个师兄,发到社群一个某乎答案

    371ce1926a844f69a9a2f330c4fdc4c7[1].png

    接下来群里就烧水问题,讨论了一个晚上,对怎么烧水进行了深入的探究。

    80adfefece734c07a15c8763e760eac8[1].png

    在初学 Python 爬虫阶段,会碰到很多概念,并且他们相似但含义完全不同。例如 多线程,多进程,异步,协程,并发,分布式……,如果想要彻底搞懂他们,还是非常有难度的,只有一条路可以帮你彻底理解,用它们做应用,实际的使用它们。

    《Python 爬虫 100 例》《Python 爬虫 120 例》都有相关案例的涉及,可以反复学习。

    有没有牛子大的说下 matplotlibplotsubplots 的区别

    6fa1436782034298a91259ea007bd5a8[1].png

    plt.plot() 是画折线图;
    plt.subplot() 生成一个子图。

    一个是开始画了,一个是先拿出来一张纸,打上线,分隔区域。

    有没有讲 pandas 的 groupby & 学 pandas 真的能找到工作吗

    844513133d724384bea2eff99116aae4[1].png

    第一个问题,pandas 中的 groupby 相关用法,可以看 《周一不睡觉,也要把 pandas groupy 肝完,你该这么学,No.8》

    第二个问题问的好,学 pandas 确实不好找工作,而且也没听说过就会 pandas 就能出去工作的人,毕竟它只是 Python 语言下的一个第三方库。

    我现在学到字体反爬,下面要学 js 逆向了,还来的及吗?

    任何时候都来得及,没有那么复杂的知识,当下开始就好啦。


    51b3a867d8d54a5ca80a40da82c06c3b[1].png

    python 基础知识,函数里面的 return

    Python 初学阶段的一点点小基础知识,社群也是有人回答的呀。


    142f8f27323547558d21370b2e217ec1[1].png

    请问可以多线程和异步协程一起使用吗?

    我直接好家伙,你这是打算不给目标站点留下活路呀,题干中的方案肯定可以用,但是一般可没人这么干,毕竟不可控因素有点多。


    5e6bc5f8e2c440df8a9ee90e28169cfc[1].png

    群外包需求

    访问 APP 网站(不是一个),怎样做到不被对方日志记录,需求简单有效方案,付 3~5 千费用。

    acb7bd16ee824daca121f677e9d7c59f[1].png

    不被记录?其实这个需求不明确。
    如果对方站点是需要登录之后,才可以获取数据,100% 会被记录住;
    如果对方站点有访问日志,爬虫就是在模拟客户端请求,也是会被记录的;
    当然还有另一种解释,就是采集站点但是隐藏自己身份,例如请求客户端数据,隐藏真实 IP,这些手段还是可以操作一下的。

    相关文章

      网友评论

          本文标题:Python 异步,协程,学起来好头疼,Python爬虫程序能调

          本文链接:https://www.haomeiwen.com/subject/emaucrtx.html