什么是网页抓取？
从网站提取数据的方法称为网络抓取。也称为网络数据提取或网络收集。这项技术的使用时间不超过3年。
为什么要进行网页爬取？
Web抓取的目的是从任何网站获取数据，从而节省了收集数据/信息的大量体力劳动。例如，您可以从IMDB网站收集电影的所有评论。之后，您可以执行文本分析，以从收集到的大量评论中获得有关电影的见解。
抓取开始的第一页
如果我们更改地址空间上的页码，您将能够看到从0到15的各个页面。我们将开始抓取第一页。
第一步，我们将向URL发送请求，并将其响应存储在名为response的变量中。这将发送所有Web代码作为响应。
url= https://www.opencodez.com/page/0 response= requests.get(url)
need-to-insert-img
然后，我们必须使用html.parser解析HTML内容。
soup = BeautifulSoup(response.content,"html.parser")
need-to-insert-img
need-to-insert-img
我们将使用整理功能对其进行组织。
need-to-insert-img
让我们观察必须提取详细信息的页面部分。如果我们通过前面介绍的右键单击方法检查其元素，则会看到href的详细信息以及任何文章的标题都位于标签h2中，该标签带有名为title的类。
need-to-insert-img
文章标题及其链接的HTML代码在上方的蓝色框中。
我们将通过以下命令将其全部拉出。
soup_title= soup.findAll("h2",{"class":"title"}) len(soup_title)
need-to-insert-img
将列出12个值的列表。从这些文件中，我们将使用以下命令提取所有已发布文章的标题和hrefs。
网友评论