7-18
API通用规则
利用HTTP从网络获取信息有四种方法：GET POST PUT DELETE
API在使用之前要求客户验证，通常API验证方法类似令牌（token）的方法，每次调用API会把令牌传到服务器上
API多数反馈的格式是XML和JOSN
API调用
http://www.cnblogs.com/haq5201314/p/8457373.html
先进行申请，到价格标准里找一个免费的
http://api.avatardata.cn/Weather/Query?key=9405abedb0704a92ae29a051e38ff154&cityname=武汉
key=后面是自己申请的key，访问就能返回天气信息
解析JOSN数据
只需要在开头import josn ，就可以吧josn转化成字典，数组转化成列表，josn字符串转化为python字符串
存储数据
存储数据有两种方法，一个是存储URL，一个是存储文件
urlretrieve (imagelacation, "logo.jpg")
下载文件并命名
数据存储到CSV，CSV是储存表格数据的常用文件格式，列与列之间用逗号分隔
创建一个CSV文件
import csv
csvFile =open("../files/test.csv",'w+')
try:
writer =csv.writer(csvFile)
writer.writerrow(('number','number plus 2','number times 2'))
for i in range(10):
writer.writerrow((i,i+2,i*2))
finally:
csvFile.close()
数据采集一个常用功能就是获取HTML表格写入CSV文件，用BeautifulSoup和get_text（）完成
MySQL
下载配置教程https://www.cnblogs.com/ayyl/p/5978418.html
基本命令
首次登陆时，没有数据库存放数据，可以创建一个CREAT DATABASE scraping
因为有很多数据库，所以使用之前必须指定一个USE scraping
然后在数据库里创建一个表格存放数据CREAT TABLE pages(id BIGINT(7) NOT NULL AUTO_INCREMENT, title VARCHAR(200),content VARCHAR(10000),ctreated TIMESTAMP DEFAULT CURRENT_TIMESTAMP, PRIMARY KEY(id));
大概是这样的一个形式，id，title，created是名称，BIGINT(7),VARCHAR,TIMESTAMP是数据类型，NOT NULL AUTO_INCREMENT是其他属性可选,最后要定义一个key，便于查找，这里就用列表的id当做key
语句执行后DESCRIBE pages可以查看数据表的结构
处理数据
SELECT * FROM pages WHERE id =2
SEECT * FROM pages WHERE title LIKE "%test"
https://www.cnblogs.com/webnote/p/5753996.html
与python整合
PyMySQL库
邮件是通过SMTP协议传输的，python有两个包可以发送邮件：smtplib和email
文档编码
python默认把文本读成ASCII编码格式，浏览器默认把文本读成ISO-8859-1编码格式，其实都不对，应该用UTF-8编码格式
content = bytes(content , "UTF-8")
网站会在<head>部分显示页面使用的编码格式，会带这样的标签<meta charset = "utf-8" />
PDF处理
def readPDF(pdfFile):
rsrcmgr = PDFResourceManager()
retstr = StringIO()
laparams = LAParams()
device = TextConverter(rsrcmgr, retstr, laparams=laparams)
process_pdf(rsrcmgr, device, pdfFile)
device.close()
content = retstr.getvalue()
retstr.close()
return content
pdfFile = urlopen("http://pythonscraping.com/pages/warandpeace/chapter1.pdf")
outputString = readPDF(pdfFile)
print(outputString)
pdfFile.close()
如果文件在电脑里，可以吧urlopen返回对象换成普通的openpdfFile = open("../pages/warandpeace/chapter1.pdf", "rb")
网友评论