美文网首页
Python 网络爬取数据

Python 网络爬取数据

作者: 大森森_ | 来源:发表于2020-02-07 20:50 被阅读0次

附上近期在家学习的一段代码,可以爬取网络数据:

import urllib.request

向指定的url地址发起请求,并返回服务器响应的数据(文件的对象)#

utf-8可以更好的翻译出代码#

response=urllib.request.urlopen("http://www.baidu.com")

读取文件的全部内容,会把读取到的数据赋值给一个字符串变量#

data=response.read()
print(data)

print(type(data))#元素类型#

print(len(data))#计算字符串的长度/计算列表元素的个数/计算字典的总长度/计算元组元素的个数#

print(type(data[100]))#第100个数据的类型#

print(type(data[100].decode("utf-8")))#转换成字符串处理#

网页存到文件里,字符串或者二进制文件用wb,文本文件用w#

with open("文件保存路径", "wb") as f:
f.write(date)

读取一行,要写循环:data=response.readline()#

读取文件的全部内容,会把读取到的数据赋值给一个列表变量,建议使用这种方式:data=response.readlines()#

相关文章

  • Python 网络爬取数据

    附上近期在家学习的一段代码,可以爬取网络数据: import urllib.request 向指定的url地址发起...

  • 1.1 网络爬虫

    参考资料 Python网络数据采集 1.1.1 爬取规则 Crawl Rule 要想爬去特定的信息,我们首先得知道...

  • Python学习

    python爬虫(五) python爬虫爬取豆瓣电影Top250数据 利用python爬取豆瓣电影TOP250页面...

  • python环境设置ssl

    爬取数据需要用python请求网络数据, https的加密实现依赖openssl 下载和安装openssl 利用源...

  • Python 应用

    Python 应用-主要是自己用到过的方面 1.网络爬虫:scrapy,爬取数据,入库(sqlite3) 2.数据...

  • 基于Logistic模型的新冠疫情预测模型

    本文主要介绍通过以Python为工具,首先编写爬虫爬取网络数据,获取疫情数据,然后使用Pandas和matplot...

  • Python学习

    python爬虫(四) python爬虫爬取豆瓣电影数据 今天我们爬取一下豆瓣电影TOP250页面电影的数据,依然...

  • python爬虫框架Scrapy

    爬虫框架Scrapy(一) 框架Scrapy是使用python实现的一个爬取网站数据、提取数据的异步网络框架,加快...

  • 【二】PYTHON爬取全国新房房价与浅析

    【一】学PYTHON及爬虫的一些总结 【二】PYTHON爬取全国新房房价与浅析 PART ONE:【数据采集】爬取...

  • 用python网络爬虫爬取英雄联盟英雄图片

    用python爬虫爬取lol皮肤。 这也用python网络爬虫爬取lol英雄皮肤,忘了是看哪个大神的博客(由于当时...

网友评论

      本文标题:Python 网络爬取数据

      本文链接:https://www.haomeiwen.com/subject/wgmvxhtx.html