美文网首页python热爱者我爱编程
神级程序员:让你的爬虫就像人类的用户行为! 你敢封我IP吗?

神级程序员:让你的爬虫就像人类的用户行为! 你敢封我IP吗?

作者: 力大士 | 来源:发表于2018-05-21 16:11 被阅读14次

    运行结果如下:

    这样就可以获得一个非常典型的 Google Analytics 的 cookie 列表:

    还可以调用 delete_cookie()、add_cookie() 和 delete_all_cookies() 方法来处理 cookie。另外,还可以保存 cookie 以备其他网络爬虫使用。

    通过Selenium和PhantomJS,我们可以很好的处理一些需要事件执行后才能获得的cookie。

    Selenium 抓取出了每个隐含的链接和字段,结果如下所示:

    虽然你不太可能会去访问你找到的那些隐含链接,但是在提交前,记得确认一下那些已经在表单中、准备提交的隐含字段的值(或者让 Selenium 为你自动提交)。

    运行结果如下:

    相关文章

      网友评论

        本文标题:神级程序员:让你的爬虫就像人类的用户行为! 你敢封我IP吗?

        本文链接:https://www.haomeiwen.com/subject/brpzxftx.html