美文网首页python热爱者我爱编程
神级程序员:让你的爬虫就像人类的用户行为! 你敢封我IP吗?

神级程序员:让你的爬虫就像人类的用户行为! 你敢封我IP吗?

作者: 力大士 | 来源:发表于2018-05-21 16:11 被阅读14次

运行结果如下:

这样就可以获得一个非常典型的 Google Analytics 的 cookie 列表:

还可以调用 delete_cookie()、add_cookie() 和 delete_all_cookies() 方法来处理 cookie。另外,还可以保存 cookie 以备其他网络爬虫使用。

通过Selenium和PhantomJS,我们可以很好的处理一些需要事件执行后才能获得的cookie。

Selenium 抓取出了每个隐含的链接和字段,结果如下所示:

虽然你不太可能会去访问你找到的那些隐含链接,但是在提交前,记得确认一下那些已经在表单中、准备提交的隐含字段的值(或者让 Selenium 为你自动提交)。

运行结果如下:

相关文章

网友评论

    本文标题:神级程序员:让你的爬虫就像人类的用户行为! 你敢封我IP吗?

    本文链接:https://www.haomeiwen.com/subject/brpzxftx.html