美文网首页分布式爬虫框架
python爬虫学习-day3-BeautifulSoup

python爬虫学习-day3-BeautifulSoup

作者: 光小月 | 来源:发表于2019-05-13 22:51 被阅读104次

    目录

    1. python爬虫学习-day1
    2. python爬虫学习-day2正则表达式
    3. python爬虫学习-day3-BeautifulSoup
    4. python爬虫学习-day4-使用lxml+xpath提取内容
    5. python爬虫学习-day5-selenium
    6. python爬虫学习-day6-ip池
    7. python爬虫学习-day7-实战

    BeautifulSoup

    BeautifulSoup官方教程:https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html

    BeautifulSoup是一个可以将复杂的HTML文档转换成一个复杂的树形结构,每个节点都是python对象,所有对象可以归纳为4种:Tag、NavigableString、BeautifuSoup和Comment。

    使用beautifulsoup提取丁香园论坛的回复内容。

    地址: http://www.dxy.cn/bbs/thread/626626#626626

    示例:

    from bs4 import BeautifulSoup as bs
    import urllib.request
    
    
    # 楼主, 发布时间, 发布内容
    def main():
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36'
        }
        url = 'http://www.dxy.cn/bbs/thread/626626#626626'
        request = urllib.request.Request(url, headers=headers)
        context = urllib.request.urlopen(request).read().decode('utf-8')
        #  指定解析器
        html = bs(context, 'lxml')
        # 用来存放获取的用户名、发布时间和评论
        datas = []
        try:
            names = html.select('div.auth')
            create_times = html.select('div.post-info span:first-child')
            contexts = html.select('td.postbody')
            for i in range(len(names)-1):
                name = names[i].get_text(strip=True)
                create_time = create_times[i].get_text(strip=True)
                context = contexts[i].get_text(strip=True)
                dictTmp = {'name': name, 'create_time': create_time, 'context': context}
                print(dictTmp)
                datas.append(dictTmp)
        except BaseException as e:
            pass
        return datas
    if __name__ == '__main__':
        main()
    

    结果:

    {'name': '楼医生', 'create_time': '2003-11-17 19:12', 'context': '我遇到一个“怪”病人,向大家请教。她,42岁。反复惊吓后晕厥30余年。每次受响声惊吓后发生跌倒,短暂意识丧失。无逆行性遗忘,无抽搐,无口吐白沫,无大小便失禁。多次跌倒致外伤。婴儿时有惊厥史。入院查体无殊。ECG、24小时动态心电图无殊;头颅MRI示小软化灶;脑电图无殊。入院后有数次类似发作。请问该患者该做何诊断,还需做什么检查,治疗方案怎样?'}
    {'name': 'lion000', 'create_time': '2003-11-17 21:02', 'context': '从发作的症状上比较符合血管迷走神经性晕厥,直立倾斜试验能协助诊断。在行直立倾斜实验前应该做常规的体格检查、ECG、UCG、holter和X-ray胸片除外器质性心脏病。贴一篇“口服氨酰心安和依那普利治疗血管迷走性晕厥的疗效观察”作者:林文华 任自文 丁燕生http://www.ccheart.com.cn/ccheart_site/Templates/jieru/200011/1-1.htm'}
    {'name': 'xghrh', 'create_time': '2003-11-17 21:45', 'context': '同意lion000版主的观点:如果此患者随着年龄的增长,其发作频率逐渐减少且更加支持,不知此患者有无这一特点。入院后的HOLTER及血压监测对此患者只能是一种安慰性的检查,因在这些检查过程中患者发病的机会不是太大,当然不排除正好发作的情况。对此患者应常规作直立倾斜试验,如果没有诱发出,再考虑有无可能是其他原因所致的意识障碍,如室性心动过速等,但这需要电生理尤其是心腔内电生理的检查,毕竟是有一种创伤性方法。因在外地,下面一篇文章可能对您有助,请您自己查找一下。心理应激事件诱发血管迷走性晕厥1例 ,杨峻青、吴沃栋、张瑞云,中国神经精神疾病杂志, 2002 Vol.28 No.2'}
    

    PS: 若你觉得可以、还行、过得去、甚至不太差的话,可以“关注”一下,就此谢过!

    相关文章

      网友评论

        本文标题:python爬虫学习-day3-BeautifulSoup

        本文链接:https://www.haomeiwen.com/subject/sgmdaqtx.html