python爬虫学习-day7-实战

目录

1. python爬虫学习-day1
2. python爬虫学习-day2正则表达式
3. python爬虫学习-day3-BeautifulSoup
4. python爬虫学习-day4-使用lxml+xpath提取内容
5. python爬虫学习-day5-selenium
6. python爬虫学习-day6-ip池
7. python爬虫学习-day7-实战

**4.1 ** 实战大项目

1. 实战大项目：模拟登录丁香园，并抓取论坛页面所有的人员基本信息与回复帖子内容。
2. 丁香园论坛：http://www.dxy.cn/bbs/thread/626626#626626 。
3. 参考资料：https://blog.csdn.net/naonao77/article/details/88316754 (Task7的参考资料，任务结束之后再发出来)

示例代码

from selenium import webdriver
import time
from lxml import etree


class scrapy07(object):
    def __init__(self):
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36'}
        self.login_url = 'https://auth.dxy.cn/accounts/login?service=http://www.dxy.cn/bbs/index.html'

    def get_login(self):
        browser = webdriver.Chrome()
        browser.get(self.login_url)
        time.sleep(3)
        # 切换登录页面
        el = browser.find_element_by_id('j_loginTab1')
        # el2 = browser.find_element_by_name('loginType')
        # el3 = browser.find_element_by_class_name('login-wp')
        # el4 = browser.find_element_by_tag_name('div')
        el5 = browser.find_element_by_xpath('//div[@id="j_loginTab1"]')
        # div_els = browser.find_elements_by_tag_name('div')
        browser.execute_script('document.querySelector("#j_loginTab1").style.display="none"')
        time.sleep(1)
        browser.execute_script('document.querySelector("#j_loginTab2").style.display="block"')
        time.sleep(1)
        # login
        username = browser.find_element_by_name('username')
        username.clear()
        username.send_keys('username')
        password = browser.find_element_by_name('password')
        password.clear()
        password.send_keys('password')
        browser.find_element_by_xpath('//div[@class="form__button"]/button').click()
        #  先睡会，然后登录之后再次请求就可以不用登录了
        time.sleep(10)

        #  获取cookies
        # cookies可以查看一下，如果客户端不需要就注释掉
        cookies = browser.get_cookies()
        # print(cookies)
        # print('------------------')
        # for i in cookies:
        #     print(i)
        cookie_dict = {i['name']: i['value'] for i in cookies}
        # print(cookie_dict)

        # 浏览指定论坛
        browser.get('http://www.dxy.cn/bbs/thread/626626#626626')
        html = browser.page_source
        tree = etree.HTML(html)
        names = tree.xpath('//div[@class="auth"]/a/text()')
        create_times = tree.xpath('//div[@class="post-info"]/span/text()')
        del create_times[1]
        del create_times[1]
        contents = tree.xpath('//td[@class="postbody"]')
        result = []
        with open('scrapy_content.csv', 'w+', encoding='utf-8') as f:
            for i in range(0, len(names)):
                if names[i].strip() == 'dxy_3n8hnhf2':
                    #     自己就回复一下子
                    #  这块有点击验证，先打卡再说
                    break
                dictTmp = {'name': names[i].strip(), 'create_time': create_times[i].strip(),
                           'content': contents[i].xpath('string(.)').strip()}
                print(dictTmp)
                print('*' * 80 + "\n")
                f.writelines([names[i].strip(), create_times[i].strip(), contents[i].xpath('string(.)').strip()])
                f.write('\n')
                f.writelines('*' * 80)
                f.write('\n')
        # return browser


if __name__ == '__main__':
    sprider = scrapy07()
    br = sprider.get_login()

结果：

{'name': '楼医生', 'create_time': '2003-11-17 19:12', 'content': '我遇到一个“怪”病人，向大家请教。她，42岁。反复惊吓后晕厥30余年。每次受响声惊吓后发生跌倒，短暂意识丧失。无逆行性遗忘，无抽搐，无口吐白沫，无大小便失禁。多次跌倒致外伤。婴儿时有惊厥史。入院查体无殊。ECG、24小时动态心电图无殊；头颅MRI示小软化灶；脑电图无殊。入院后有数次类似发作。请问该患者该做何诊断，还需做什么检查，治疗方案怎样？'}
********************************************************************************

{'name': 'lion000', 'create_time': '2003-11-17 21:02', 'content': '从发作的症状上比较符合血管迷走神经性晕厥，直立倾斜试验能协助诊断。在行直立倾斜实验前应该做常规的体格检查、ECG、UCG、holter和X-ray胸片除外器质性心脏病。贴一篇“口服氨酰心安和依那普利治疗血管迷走性晕厥的疗效观察”作者：林文华 任自文 丁燕生http://www.ccheart.com.cn/ccheart_site/Templates/jieru/200011/1-1.htm'}
********************************************************************************

{'name': 'xghrh', 'create_time': '2003-11-17 21:45', 'content': '同意lion000版主的观点：如果此患者随着年龄的增长，其发作频率逐渐减少且更加支持，不知此患者有无这一特点。入院后的HOLTER及血压监测对此患者只能是一种安慰性的检查，因在这些检查过程中患者发病的机会不是太大，当然不排除正好发作的情况。对此患者应常规作直立倾斜试验，如果没有诱发出，再考虑有无可能是其他原因所致的意识障碍，如室性心动过速等，但这需要电生理尤其是心腔内电生理的检查，毕竟是有一种创伤性方法。因在外地，下面一篇文章可能对您有助，请您自己查找一下。心理应激事件诱发血管迷走性晕厥1例 ，杨峻青、吴沃栋、张瑞云，中国神经精神疾病杂志， 2002 Vol.28 No.2'}
********************************************************************************

{'name': 'keys', 'create_time': '2003-11-17 21:52', 'content': '该例不排除精神因素导致的，因为每次均在受惊吓后出现。当然，在作出此诊断前，应完善相关检查，如头颅MIR(MRA),直立倾斜试验等。'}
********************************************************************************

csv结果:

PS: 若你觉得可以、还行、过得去、甚至不太差的话，可以“关注或点赞”一下，就此谢过!