美文网首页虫虫
Python爬取百度搜索帮助解决剔除广告难题,网友留言:感激不尽

Python爬取百度搜索帮助解决剔除广告难题,网友留言:感激不尽

作者: 扒皮狼 | 来源:发表于2019-03-08 13:40 被阅读75次
百度搜索

利用Python净化百度搜索结果。。。

既然是净化。。。

广告什么的当然要通通剔除啦。。。

至于为什么要做这个。。。

大概是因为昨天留言中有人提到了这个。。。

所以。。。

just have a try!

相关文件

喜欢+转发此文,然后加群791052257就可以获取了

主要思路

利用Python处理百度搜索关键字后返回的页面,提取其中的有效信息。

有效信息包括:

剔除广告等无用链接后的有用链接以及这些有用链接的标题信息。

后续处理:

毕竟一千个读者就有一千个哈姆雷特,所以我只举一个简单的利用这些有效信息的例子。

至于是什么例子。。。

继续看下去就知道了呗~~~

开发工具

Python版本:3.5.4

相关模块:

requests模块、bs4模块、win_unicode_console模块、PyQt5模块以及一些Python自带的模块。

环境搭建

安装Python并添加到环境变量,pip安装需要的相关模块即可。

使用方式

(1)直接运行

功能:

在cmd窗口运行BaiduSearch_Spider.py文件后,根据提示输入相关信息后将得到的有效信息保存到results.txt文件中。

若需其他功能请自行修改源代码。

运行示例如下图所示:

实例

结果:

结果

(2)作为模块导入

使用示例如下图所示:

部分代码

运行以及结果图:

结果图

说明与简单实例

返回的数据格式为:

数据格式

简单实例:

功能:

(1)在cmd窗口中运行并展示获得的有效信息;

(2)根据有效信息选择想要了解的链接后将该链接网站在PyQt制作的简易Demo中显示。

结果图:

结果图 结果图

更多

有兴趣的朋友可以进一步修改我提供的源代码,做个洁净版的百度搜索浏览器(T_T怎么感觉这么绕口呢)。。。

当然有其他想法也可以大胆地去尝试实现???

欢迎评论区交流???

相关文章

网友评论

    本文标题:Python爬取百度搜索帮助解决剔除广告难题,网友留言:感激不尽

    本文链接:https://www.haomeiwen.com/subject/ialrpqtx.html