整理一下文章 《[数据分析] 简书在微博上的分享情况》 的代码。
微博爬虫的难点：
WeiboSpider中的方式即是。这次参考了网上代码，使用的用户名+密码的方式登录，注意不是直接登录到新浪微博，而是新浪SSO。
https://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.15)
cookies.py中使用户名密码登录，获取cookie，在middleware.py中设置请求request的cookie。为了防止Ban，可以多帐号随机cookie的方式。
代码中没有加浏览器随机请求头（参见之前文章中有），随机代理IP，有空补上。
PS: 之前的文章：
【图解】Python模拟登录新浪微博
整理一下文章 《[数据分析] 简书在微博上的分享情况》 的代码。 微博爬虫的难点： 登录问题之前我用了两种方式：1...
爬虫功能： 此项目和QQ空间爬虫类似，主要爬取新浪微博用户的个人信息、微博信息、粉丝和关注（详细见此）。 代码获取...
layout: posttitle: 新浪微博爬虫categories: Spiderdescription: 微...
猴子都能学会的20行代码登录微博 如何登录新浪微博是令许多数据新手（包括我）头疼的大问题。由于新浪的反爬虫策略，网...
本文主要介绍神箭手“新浪微博采集爬虫”（以下简称“微博爬虫”）的使用教程以及注意事项。 新浪微博中有大量高价值的软...
好了，现在讲述针对Ajax异步请求内容的爬虫实例，以新浪微博为例。首先，新浪微博与前面讲述的两个网站不同的是，需登...
SinaSpider- 基于scrapy和redis的分布式微博爬虫。SinaSpider主要爬取新浪微博的个人信...
仅供学习交流，请勿用于商业用途，并遵守新浪微博相关规定。 代码目录 此微博机器人的实现功能如下： 模拟登陆新浪微博...
最近事情比较多，所以从上周就开始写的新浪微博爬虫一直拖到了现在，不过不得不说新浪微博的反扒，我只想说我真的服气了。...
今天给大家录制了一个爬新浪微博的爬虫，也用到了抓包分析网址，但相较于以前，单纯的使用抓包分析网址在新浪微博是无效的...
本文标题：新浪微博爬虫代码
本文链接：https://www.haomeiwen.com/subject/bgxmgttx.html
网友评论
twisted.python.failure.Failure scrapy.spidermiddlewares.httperror.HttpError: Ignoring non-200 response
要怎么解决