今天终于开始学习爬取网页了，今天也是模仿老师的课程，敲打一次代码。
课程主要内容是提取网页的标题、标签、热度和图片的网址。最后提取热度大于3的文章。
我的成果：
12.JPG
我的代码：
from bs4 import BeautifulSoup
info = []
with open('E:/1080P/web/new_index.html','r') as wb_data:
Soup = BeautifulSoup(wb_data,'lxml')
images = Soup.select('body > div.main-content > ul > li > img')
titles = Soup.select('body > div.main-content > ul > li > div.article-info > h3 > a')
descs = Soup.select('body > div.main-content > ul > li > div.article-info > p.description')
rates = Soup.select('body > div.main-content > ul > li > div.rate > span')
cates = Soup.select('body > div.main-content > ul > li > div.article-info > p.meta-info')
# print(images,titles,descs,rates,cates,sep='\n-------------------\n')
for title,image,desc,rate,cate in zip(titles,images,descs,rates,cates):
data = {
'title':title.get_text(),
'descs':desc.get_text(),
'rate': rate.get_text(),
'cate': list(cate.stripped_strings),
'image': image.get('src')
}
info.append(data)
for i in info:
if float(i['rate'])>3:
print(i['title'],i['cate'])
我的总结
- 使用BeautifulSoup解析网页必须在开头就标明代码。
from bs4 import BeautifulSoup
这句话不能少。
- with open就是打开文件的意思，后面的'r'就是查阅文件，而之前学的'w'就是编写文件，不存在的话会新建一个。as wb_data，就是赋予这个文件一个名称。
- 后面那段就用上了BeautifulSoup和lxml这两个库了。这样一个网页就被解析出来了。
Soup = BeautifulSoup(wb_data,'lxml')
- 解析整个网页后，我们需要对各个提取的元素进行路径提取，为的是获取各个元素的内容。这里用Soup.select()完成。
- 不过要注意路径，必须将路径中的子孙节点去掉。这样才能够一下子提取所有的节点信息。
- sep='\n----------\n',这个是用-------------分隔开打印结果的意思。
- 用for .... in ...循环函数，将集合中的元素赋予到变量里面。in zip就是打包到一个统一的地方。
- 大部分情况下，可以用get_text函数来解决问题，提取元素中的文字信息。如果针对图片地址，要用get('src')。如果针对标签的话，要更复杂一点，因为标签是多对一的关系，必须先将路径清理干净，然后用stripped_strings来提取，前面加个list函数帮助排列。
- 最后，我们还要将热度3以上的文章找出来。这里再用一次for ... in ...，不过我们需要提前将上面的元素放到一个叫info的集合里面。
网友评论