美文网首页
第2章 数据抓取

第2章 数据抓取

作者: AmaAnchor | 来源:发表于2019-03-05 11:13 被阅读0次

第2章 数据抓取

2.1 beautifulsoup

常见操作:

image
url='http://example.python-scraping.com'
import requests
from bs4 import BeautifulSoup
resp=requests.get(url)
soup=BeautifulSoup(resp.text,'html.parser')
soup.html

2.2 re表达式

2.2.1在使用re模块时,通常对模式字符串添加r防止转义

image.png

2.2.3 re的常见功能函数

image.png

2.2.3.1 re.search()

image.png

re模块的其他方法同理

re以及bs4的使用

打个比方:
有人给你一个地址要你去办事,bs4就是告诉你这个地址在哪个省份,哪个城市,街道等;而re则是更具体的告诉你这个地址所在的小区,楼号,门牌号

相关文章

  • 安卓手机运行python程序的软件:Termux

    用电脑写了一段python程序抓取某网站的数据。网站数据每天更新,每天的数据都不一样,如果当天没有抓取保存数据,第...

  • 04_中央气象台

    简述 再次进行分析抓取气象数据练习,本节主要抓取预报气象数据。抓取数据请勿存档,商用请联系官方。 爬取对象 抓取中...

  • iOS 防止 Charles 抓取数据

    iOS 防止 Charles 抓取数据 iOS 防止 Charles 抓取数据

  • 03_中央气象台

    简述 继续分析抓取气象数据练习,本节主要抓取实时气象数据。抓取数据请勿存档,商用请联系官方。 爬取对象 抓取中央气...

  • requests-code说明

    Charles抓取的request的raw数据 chrome抓取的network数据

  • Python3数据分析与挖掘建模实战 笔记

    第2章 数据获取 数据获取手段: 数据仓库 监测与抓取 填写、埋点、日志 计算 数据仓库 将所有业务数据经汇总处理...

  • BD第4课:数据清洗

    如果说抓取数据是数据分析的第1步,那么数据清洗就是数据分析的第2步,那么为什么要进行数据清洗呢?如何进行数据清洗呢...

  • 第2章 数据抓取

    第2章 数据抓取 2.1 beautifulsoup 常见操作: 2.2 re表达式 2.2.1在使用re模块时,...

  • 人人都会数据分析大纲

    -实现数据分析需要有哪些东西? -有数据 --数据从何而来? ---自有数据 ---爬虫抓取 ----爬虫抓取的步...

  • 爬虫框架scrapy和数据库MongoDB的结合使用(一)

    在对大数据抓取时,使用scrapy来对数据进行抓取无疑是十分方便的,而scrapy抓取的数据一般比较大,结合...

网友评论

      本文标题:第2章 数据抓取

      本文链接:https://www.haomeiwen.com/subject/gpziuqtx.html