一、本次爬取目的:获取腾讯新闻首页新闻的标题和链接。
二、需要准备的工作:
①安装requests、BeautifulSoup。
②分析网页,找到我们需要数据的标签位置。

三、编写代码:
# 1 导入需要用到的模块
import requests
from bs4 import BeautifulSoup
# 2 对目标网址进行请求
url = "http://news.qq.com/"
def get_news_information(url):
''' 获取新闻信息 '''
wb_data = requests.get(url)
if wb_data.status_code == 200: #判断请求状态是否为:200
soup = BeautifulSoup(wb_data.text,"html.parser") #解析网页数据
data = soup.select("div > em > a") #查找标题链接所在标签
for a in data: news_link = a.get('href') #获取新闻链接
news_title = a.get_text().strip() #获取新闻标题
news_information = {"标题":news_title,"链接":news_link}
print(news_information)
return news_information
get_news_information(url) #调用函数
四、输出结果:

网友评论