美文网首页
scrapy登陆界面处理

scrapy登陆界面处理

作者: 听风的青年 | 来源:发表于2018-11-02 19:26 被阅读0次

只要改变爬虫中的设置即可:

# -*- coding: utf-8 -*-
import scrapy
import json

class WeiSpider(scrapy.Spider):
    name = 'wei'
    allowed_domains = ['weibo.cn']
    # start_urls = ['http://weibo.cn/']
    # 当引擎把start_urls中的内容放入调度器中以后,会调取下载器发起get请求,现在如果需发送post请求,就需要把start_urls注视掉

    # def parse(self, response):
    #     pass
    # 重写一个方法
    def start_requests(self):
        # 这个方法当下载器开始发起请求之前被调用
        # 在这个方法我们可以把下载器截获,改变其原来的请求方式
        login_url = "https://passport.weibo.cn/sso/login" # post请求的接口url
        # post提交的数据
        data = {
            'username': '18610593606',
            'password': 'a123456',
            'savestate': '1',
            'r': 'https://weibo.cn/?luicode=20000174',
            'ec': '0',
            'pagerefer': 'https://weibo.cn/pub/?vt=',
            'entry': 'mweibo',
            'wentry': '',
            'loginfrom': '',
            'client_id': '',
            'code': '',
            'qq': '',
            'mainpageflag': '1',
            'hff': '',
            'hfp': ''
        }

        yield scrapy.FormRequest(url=login_url,formdata=data,callback=self.parse_login)

    def parse_login(self, response):

        # print(response.text)
        # 判断登录是否成功
        if json.loads(response.text)["retcode"] == 20000000:
            print("登录成功!")
            # 访问主页
            main_url = "https://weibo.cn/?since_id=0&max_id=H0moBsJrC&prev_page=1&page=1"
            yield scrapy.Request(url=main_url,callback=self.parse_info)

        else:
            print("登录失败!")

    def parse_info(self, response):
        print(response.text)
        # 在这里解析

相关文章

  • scrapy登陆界面处理

    只要改变爬虫中的设置即可:

  • Scrapy安装教程

    Scrapy框架 scrapy安装 登陆http://www.lfd.uci.edu/~gohlke/python...

  • 智能商超管理系统登陆界面设计

    一. 登陆界面的效果图 (1)开始界面登陆界面.png (2)用户类型选择界面用户类型选择.png 二. 登陆界面...

  • 8-Scrapy框架汇总

    scrapy架构 Scrapy主要组件1、引擎(Scrapy): 用来处理整个系统的数据流处理, 触发事务(框架核...

  • 2018-10-14

    一. 登陆界面的效果图(1)开始界面 (2)用户类型选择界面 二. 登陆界面实现的功能描述 1.该登陆界面可以实现...

  • 2018-10-14

    智能社区商超管理系统登陆界面设计文档 1. 登陆界面的效果图 2. 登陆界面实现的功能描述 1.该登陆界面可以实现...

  • 登录界面

    一.登陆界面、 (1).开始界面 (2).输入界面密码成功时 (3).输入界面密码失败时 二. 登陆界面各控件的参...

  • 超市管理系统界面设计

    1,登陆界面效果 2,登陆界面实现的功能 管理人员和收银人员分类进行系统登陆 3,登陆界面控件 4,重要方法描述 ...

  • scrapy 学习日记

    文章出处:【scrapy】学习Scrapy入门 整体结构 引擎(Scrapy Engine),用来处理整个系统的数...

  • 2018-10-11登陆界面设计 倪婉钰

    1、登陆界面效果图 2、登陆界面实现的功能 3、登陆界面控件参数设置 ①Label控件 ②comboBox控件 ③...

网友评论

      本文标题:scrapy登陆界面处理

      本文链接:https://www.haomeiwen.com/subject/mbocxqtx.html