使用Selenium抓取QQ空间好友说说

作者: 一只写程序的猿 | 来源:发表于2017-10-29 21:42 被阅读146次

    代码参考http://www.jianshu.com/p/a6769dccd34d
    刚接触Selenium的戳这里Selenium与PhantomJS
    PS:代码的不足在于只能抓取第一页的说说内容,代码的改进之处在于增加了与数据库的交互,进行了存储

    1.安装Selenium

    pip install Selenium
    

    2.在Python中使用Selenium获取QQ空间好友说说

    分析网页结构

    说说内容 发表说说的时间

    3.代码实现(基于Python3)

    # -*- coding:utf-8 -*-
    from bs4 import BeautifulSoup
    from selenium import webdriver
    import time
    import pymongo
    
    # #使用Selenium的webdriver实例化一个浏览器对象,在这里使用Phantomjs
    # driver = webdriver.PhantomJS(executable_path=r"D:\phantomjs-2.1.1-windows\bin\phantomjs.exe")
    # #设置Phantomjs窗口最大化
    # driver.maximize_window()
    
    
    # 登录QQ空间
    def get_shuoshuo(qq):
        #建立与MongoClient的链接
        client = pymongo.MongoClient('localhost', 27017)
        #得到数据库
        db = client['shuoshuo']
        #得到一个数据集合
        sheet_tab = db['sheet_tab']
    
        chromedriver = r"E:\mycode\chromedriver.exe"
        driver = webdriver.Chrome(chromedriver)
        #使用get()方法打开待抓取的URL
        driver.get('http://user.qzone.qq.com/{}/311'.format(qq))
        time.sleep(5)
        #等待5秒后,判断页面是否需要登录,通过查找页面是否有相应的DIV的id来判断
        try:
            driver.find_element_by_id('login_div')
            a = True
        except:
            a = False
        if a == True:
            #如果页面存在登录的DIV,则模拟登录
            driver.switch_to.frame('login_frame')
            driver.find_element_by_id('switcher_plogin').click()
            driver.find_element_by_id('u').clear()  # 选择用户名框
            driver.find_element_by_id('u').send_keys('QQ号')
            driver.find_element_by_id('p').clear()
            driver.find_element_by_id('p').send_keys('QQ密码')
            driver.find_element_by_id('login_button').click()
            time.sleep(3)
        driver.implicitly_wait(3)
    
        #判断好友空间是否设置了权限,通过判断是否存在元素ID:QM_OwnerInfo_Icon
        try:
            driver.find_element_by_id('QM_OwnerInfo_Icon')
            b = True
        except:
            b = False
        #如果有权限能够访问到说说页面,那么定位元素和数据,并解析
        if b == True:
            driver.switch_to.frame('app_canvas_frame')
            content = driver.find_elements_by_css_selector('.content')
            stime = driver.find_elements_by_css_selector('.c_tx.c_tx3.goDetail')
            for con, sti in zip(content, stime):
                data = {
                    'time': sti.text,
                    'shuos': con.text
                }
                print(data)
                sheet_tab.insert_one(data)
            pages = driver.page_source
            soup = BeautifulSoup(pages, 'lxml')
    
        #尝试一下获取Cookie,使用get_cookies()
        cookie = driver.get_cookies()
        cookie_dict = []
        for c in cookie:
            ck = "{0}={1};".format(c['name'], c['value'])
            cookie_dict.append(ck)
        i = ''
        for c in cookie_dict:
            i += c
        print('Cookies:', i)
    
    
        driver.close()
        driver.quit()
    
    
    if __name__ == '__main__':
        get_shuoshuo('好友的QQ号')
    

    注意:使用前记得安装chromedriver这个插件,使用的过程中会呼起一个谷歌浏览器。如果写了绝对路径还报错的话,就加入环境变量。

    通过Robo 3T(数据库MongoDB的一款功能强大的数据库管理工具)可以看到我们已经将拿到的数据库存储于数据库中

    接下来我们应该通过拿到的数据做一些数据分析...可是我不会!!!

    正在努力学习数据分析中.....

    相关文章

      网友评论

      本文标题:使用Selenium抓取QQ空间好友说说

      本文链接:https://www.haomeiwen.com/subject/gyvqpxtx.html