微博cookie池A版本——基于selenium

这段时间因为要爬微博的数据，而微博很多数据都是要在登陆状态之下才能访问，所以就写了两个版本的微博cookie池，第一个是学习崔大神课程时候改写的，也是比较简单暴力的，只要网页不改就能一直有效，因为用的是selenium，第二个呢是抓包分析登陆时候的请求以及账号密码的登陆方式，用requests实现的，效率高速度快，但是只要微博改了加密算法，那就完了，今天我这里先分享第一个用selenium版本的cookie池，该脚本主要启动两个进程，一个是根据数据库的账户密码获取cookie，另一个是定时检验数据库cookie的有效性，运行之前我们是需要按照一定格式将账号录入数据库的,githubhttps://github.com/xiaobeibei26/weibo_cookies
先看登陆界面网址http://my.sina.com.cn/profile/unlogin

图片.png

注意到，这里填了用户名以及密码之后是要填验证码的，我们先用selenium将用户名密码填上，然后如果出现了验证码，我们就向在线打码平台发送请求，获取验证码，最后再填入浏览器登陆。先看一下selenium的操作

    def new_cookies(self,username,password):

        print('正在从账号{}获取cookie'.format(username))
        # self.browser.delete_cookie('name')
        # self.browser.delete_cookie('value')
        self.browser.delete_all_cookies()
        time.sleep(1)
       
        self.browser.get('http://my.sina.com.cn/profile/unlogin')
        wait = WebDriverWait(self.browser,10)
        # time.sleep(4)
        try:#找到登陆的用户名密码输入框
            login = wait.until(EC.visibility_of_element_located((By.ID, 'hd_login')))
            login.click()
            user = wait.until(
            EC.visibility_of_element_located((By.CSS_SELECTOR, '.loginformlist input[name="loginname"]')))
            user.send_keys(username)
            psd = wait.until(
                EC.visibility_of_element_located((By.CSS_SELECTOR, '.loginformlist input[name="password"]')))
            psd.send_keys(password)
            submit = wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, '.login_btn')))
            submit.click()#如果没有验证码就直接登陆了，接下来就检验登陆是否成功
            try:
                time.sleep(1)
                delay=self.browser.find_element_by_class_name('login_error_tips').text
                print(delay)
                if '登陆' in delay:
                    print('遇到登陆限制，进入睡眠一段时间')
                    time.sleep(1800)
                    submit.click()

                name,cook=self.suceess_login(username)
                if name and cook:
                    return name,cook
                if '错误' in delay:
                    print('用户名密码错误，更换账号')
                    return None

            except Exception as e:#如果超时，则出现了验证码
                print('出现验证码，开始识别')
                #先找到验证码的图片地址，然后发去在线打码平台


        except WebDriverException as e:#有些账号密码错误我也没有办法

            print('该账号访问失败')

用selenium打开网页输入用户名密码之后，这里主要分三种情况，如果没有验证码则直接登陆，如果遇到登陆限制则休眠起来，如果遇到验证码则把图片发送至打码平台然后等待获取到验证码结果再登陆，登陆成功之后会有一个访问个人测试的小主页，之后就是把cookie录入redis的数据库。
另外一个定期检查cookie的进程是利用requests库访问个人主页，根据返回的结果判断cookie是否有效，无效则删除，检验的代码比较简单，如图

图片.png

接下来看看怎么处理验证码，当出现验证码的时候，要将访问验证码图片的content发送给打码平台，这是打码文件里面的一个主要函数，把需要提交的内容提交上去就好了

图片.png

值得一提的是cookie池每次是登陆那些数据库里面没有cookie的账号，有cookie的账号是不登陆的，直至cookie失效才登陆，最后我们看一下数据库

图片.png