美文网首页
各种python的工具采集

各种python的工具采集

作者: 舍山 | 来源:发表于2019-01-13 23:27 被阅读0次

    由于我是采用python3.6开发的,然后从上文的介绍中,也该知道了一只爬虫是需要从HTML中提取内容,以及需要和网页做交互等。

    如果不采用爬虫框架的话,我建议采用:
       
    BeautifulSoup 库 ,一款优秀的HTML/XML解析库,采用来做爬虫,
    不用考虑编码,还有中日韩文的文档,其社区活跃度之高,可见一斑。
    [注] 这个在解析的时候需要一个解析器,在文档中可以看到,推荐lxml
                  
    Requests 库,一款比较好用的HTTP库,当然python自带有urllib以及urllib2等库,
    但用起来是绝对没有这款舒服的,哈哈
               
    Fiddler. 工具,这是一个HTTP抓包软件,能够截获所有的HTTP通讯。

    如果爬虫运行不了,可以直接百度下载。
    爬虫的辅助开发工具还有很多,比如Postman等,这里只用到了这三个,相信有了这些能减少不少开发阻碍。

    相关文章

      网友评论

          本文标题:各种python的工具采集

          本文链接:https://www.haomeiwen.com/subject/nosrdqtx.html