美文网首页大牧夜话——爬虫篇
爬虫正传-江湖路远-0101-刀未佩妥,出门已是江湖

爬虫正传-江湖路远-0101-刀未佩妥,出门已是江湖

作者: 大牧莫邪 | 来源:发表于2018-05-12 20:31 被阅读0次

    1.1. 刀未佩妥,出门已是江湖——第一个爬虫程序

    创建自己的爬虫工作目录,我个人工作目录位置:

    /home/damu/work_spider/spider_01/

    创建第一个爬虫程序:demo01_hw.py

    目标:采集新浪网首页数据

    资源:url地址(http://www.sina.com.cn)

    程序开发:编辑demo01_hw.py

    # coding:utf-8
    
    # 引入爬虫模块
    import urllib2
    
    # 访问服务器,获取服务器返回的响应数据
    response = urllib2.urlopen(‘http://www.sina.com.cn’)
    
    # 控制台打印展示数据
    print(response.read())
    

    运行程序:python demo01.py,控制台可以看到采集到的数据


    采集的数据

    小结:urllib2是Python2版本中专门用于进行网络数据请求访问的一个基础模块,包含了最基本的操作网络数据的各种类型和函数,如上述程序中访问新浪网并获取响应数据的函数urlopen就是一个非常核心重要的操作函数!

    相关文章

      网友评论

        本文标题:爬虫正传-江湖路远-0101-刀未佩妥,出门已是江湖

        本文链接:https://www.haomeiwen.com/subject/wvbhdftx.html