美文网首页
【Python】01-爬取腾讯新闻

【Python】01-爬取腾讯新闻

作者: b861a75d2a7d | 来源:发表于2018-04-19 00:45 被阅读255次

一、本次爬取目的:获取腾讯新闻首页新闻的标题链接


二、需要准备的工作:

①安装requests、BeautifulSoup。

②分析网页,找到我们需要数据的标签位置。


目标网页

三、编写代码:


# 1 导入需要用到的模块

import requests

from bs4 import BeautifulSoup

# 2 对目标网址进行请求

url = "http://news.qq.com/"

def get_news_information(url):

    ''' 获取新闻信息 '''

    wb_data = requests.get(url)

    if wb_data.status_code == 200: #判断请求状态是否为:200

        soup = BeautifulSoup(wb_data.text,"html.parser") #解析网页数据

        data = soup.select("div > em > a") #查找标题链接所在标签

        for a in data: news_link = a.get('href') #获取新闻链接

        news_title = a.get_text().strip() #获取新闻标题

        news_information = {"标题":news_title,"链接":news_link}

        print(news_information)

    return news_information

get_news_information(url)  #调用函数

四、输出结果:


新闻标题和链接

相关文章

网友评论

      本文标题:【Python】01-爬取腾讯新闻

      本文链接:https://www.haomeiwen.com/subject/kilikftx.html