爬虫前的准备：
下载库文件包：requests bs4（BeautifulSoup）
解析工具：lxml html5lib
下载分词工具：wordcloud
怎么使用：将对应版本镜像放在scripts里面，利用命令进入这个路径中
linux: 敲命令的时候 在所在的路径中如果确定存在 根据你的记忆 word+tab（自动补充）
pip install 版本镜像（文件存在 使用tab 进行全名补充）
你是先打开的cmd，进入了对应文件路径，你再导入文件
复制名字（带文件名后缀）
https://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud 镜像网址 之后我们还会用到
jieba
词云的生成
数据分析：其实对编程和代码的逻辑没有很强（要求没有Java那么强）
其实就是利用python的库文件对周边工具或者周边数据进行处理
最终我们在数据中得到一些有价值的结论工作
爬虫知识：
初学：主要就是学习requests和BS的使用，并且利用对应的解析器进行标签的结构处理
第一步：导包
第二步：介绍：我们的所谓的网络，统称为万维网（www），将一个可以移动的程序看成了一个类似于网络虫子的东西
爬虫（一段程序去请求服务器，去获取对应服务器的数据）
（脚本/外挂）：可以使一些方法变得快速而且简单的程序叫做脚本/使一些方法超越了一些限制，实现了几乎不可能完成的事情，辅助的东西就叫做脚本
第三步：
利用工具实现爬虫访问
requests：模拟浏览器发出的请求（http），访问所在网页的服务器，获取服务器的网页结构、数据、图片、文件
json
bs：如果请求到了一些数据的集合结构等，通过bs进行解析结构
lxml（解析器）：利用解析器进行解析
第四步：
会出现IP被封掉的情况，XXX链接主机关闭了，出现错误10061 10053，千万不能进行违法行为
第五步：
实现一个简单的DEMO，选定一个目标网站
"""
import requests
from bs4import BeautifulSoup
import lxml
# 1.选定一个目标路径
url ='https://*****.html'
# 2.发起请求（http） 请求方式（7种 get/post）
# get：显式请求，可以看到请求的参数以及请求的数据，但是地址栏有大小的限制
# post：隐式请求，不知可以看到请求的参数和数据，地址栏没有大小限制
response = requests.get(url=url)
# 3.查看请求是否成功 状态码：404（找不到路径） 200 305 300 500（页面代码错误） 405（请求方式错误）
print('状态码：',response.status_code)
# 4.查看下编码 === 防止乱码 就要设置与请求的页面相同的编码
# print(response.encoding) #目前浏览器的请求编码
response.encoding ='gbk'
# print(response.encoding)
# 5.将成功请求的页面转成html（可以进行打印的结构） text(针对文本的字符流) content（字节流图片）
html = response.text
# print(html)
#6.对html进行解析
soup = BeautifulSoup(html,'lxml')
# 7.通过解析器产生的对象进行对标签中数据的提取（小说文章的提取）
# find()找到第一个出现的标签 find_all（找到全部出现的标签） find(attrs={'id':'name','class':'age'})
# 控制选择器的方法 select（）找到全部为该选择器属性的标签 select_one（）找到一个为该选择器属性的标签
soup_text = soup.find_all('div',class_='showtxt')
texts = soup_text[0].text#将里面的文本内容逐条拿出来
# 8.去除空格和空行 正则表达式
texts = texts.replace("'\xa0'*8",'\n\n')#替换文本
# 9.下载
file =open('***.txt','w',encoding='utf-8',newline='')
# 10.写入
file.write(texts)
# 11.关闭文件流
file.close()
print('下载成功')
网友评论