美文网首页大牧夜话——爬虫篇
爬虫正传-江湖路远-0101-刀未佩妥,出门已是江湖

爬虫正传-江湖路远-0101-刀未佩妥,出门已是江湖

作者: 大牧莫邪 | 来源:发表于2018-05-12 20:31 被阅读0次

1.1. 刀未佩妥,出门已是江湖——第一个爬虫程序

创建自己的爬虫工作目录,我个人工作目录位置:

/home/damu/work_spider/spider_01/

创建第一个爬虫程序:demo01_hw.py

目标:采集新浪网首页数据

资源:url地址(http://www.sina.com.cn)

程序开发:编辑demo01_hw.py

# coding:utf-8

# 引入爬虫模块
import urllib2

# 访问服务器,获取服务器返回的响应数据
response = urllib2.urlopen(‘http://www.sina.com.cn’)

# 控制台打印展示数据
print(response.read())

运行程序:python demo01.py,控制台可以看到采集到的数据


采集的数据

小结:urllib2是Python2版本中专门用于进行网络数据请求访问的一个基础模块,包含了最基本的操作网络数据的各种类型和函数,如上述程序中访问新浪网并获取响应数据的函数urlopen就是一个非常核心重要的操作函数!

相关文章

  • 爬虫正传-江湖路远-0101-刀未佩妥,出门已是江湖

    1.1. 刀未佩妥,出门已是江湖——第一个爬虫程序 创建自己的爬虫工作目录,我个人工作目录位置: /home/da...

  • 剑未佩妥,出门已是江湖,酒尚余温,入口不知乾坤。

  • 剑未佩妥,出门已是江湖

    背着行李,拉着箱包,你踏出了大学的校门。 “我TM的大学就这样毕业了?!”你回头看了一眼校门,不太敢相信,满是留恋...

  • 剑未佩妥,出门已是江湖

    大概是因为有目的地吧,所以对于此次 的西安之行并没有做行程规划 提到西安,可能第一印象就是羊肉泡馍吧️️️️...

  • 剑未佩妥,出门已是江湖

    趁回忆还烫着,我把心事剖开,仔细看看。 自游荡北京几日回到学校后,默然已是成熟的五月。不同于满是谎言的四月,虽然都...

  • 剑未佩妥,出门已是江湖

    剑未佩妥,出门已是江湖 (1) 你总说毕业遥遥无期,转眼就各奔东西 又是一年格桑花开的季节,又到一年一度的毕业季。...

  • 剑未佩妥,出门已是江湖

    不死心不逃避 就足够吧 1 三月,又到了一年一度,研究生与本科生齐飞,博士生还要平分秋色的季节了。 秋招结束后,被...

  • 剑未佩妥,出门已是江湖

    一 不知道你是不是也有这样的经历,做一件事情前,总要花费很多时间来准备,希望等到万事俱备才开始动手。还安慰自己,磨...

  • 剑未佩妥,出门已是江湖

    又是十一月,这次北风演奏的却是《送别》,送别象牙塔的时光。毫无准备的应付着比以往来的更早的期末考试,磕磕绊绊的穿梭...

  • 剑未佩妥,出门已是江湖

    很早就准备提笔写一篇文章,纪念一下自己的大学时光,作为一个总结为四年的大学画上一个圆满的句号。在大三的时候,我就...

网友评论

    本文标题:爬虫正传-江湖路远-0101-刀未佩妥,出门已是江湖

    本文链接:https://www.haomeiwen.com/subject/wvbhdftx.html