美文网首页
python简单爬虫示例

python简单爬虫示例

作者: 顺子_aba3 | 来源:发表于2019-12-10 12:29 被阅读0次

    源码

    import requests
    from lxml import html
    url='https://movie.douban.com/' #需要爬数据的网址
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36'
    }
    page=requests.get(url,headers=headers)
    tree=html.fromstring(page.text)
    result=tree.xpath('//td[@class="title"]//a/text()') #获取需要的数据
    print(result)
    

    知识点

    1.requests库:发送网络请求
    2.lxml库:HTML和XML的解析
    3.xpath:XML 文档中查找信息

    相关文章

      网友评论

          本文标题:python简单爬虫示例

          本文链接:https://www.haomeiwen.com/subject/krtggctx.html