2018-12-17数据

结构数据

• xml
• json

非结构化数据

• html
  处理方法 xpath 正则表达式

json

• 怎么找json的url地址？

1. response 搜不到中文实属正常，去preview中搜索
2. 还没有想要的数据，搜英文与数字
3. 不在这个响应里，可能在其他的里面 可能js生成（数据太多则不 太可能）
4. css 与 js 响应可以不用看
5. 有没有比较简单的方法找对应相应？

• XHR Ajax请求ctrl 按住，选择文件
• search all files 搜数字，再搜相关'subject',找到对应响应url
• 找到响应发现并不是json怎么办？json应该像字典 --->正则表达式&

并不是每个网站用chrome的手机版登陆都能返回json
抓包手机APP&楼上的方法

从json中提取数据，变为python的数据

• json.loads&json.dumps

str.decode(encoding='UTF-8',errors='strict')

from pprint import pprint
pprint(字典）

json.dumps将python类型转化为json（字符串）

f.write(json.dumps(dict))
写入的时候，ascii默认将内容用码编码写入json

with open('douban.json','w',encoding='utf-8') as f#（默认用utf-8打开）         
     f.write(json.dumps(ret1,ensure_ascii=False,indent=2）#写入时别转换成ascii了        

json字符串使用注意点

归根到底，‘json’字符串是‘字符串str'

• 字符串都是由双引号括起来的
  • 如果不是双引号
    • eval ：能实现简单的字符串与python之间的转化
    • replace ： 把单引号替换为双引号

str = "this is string example....wow!!! this is really string";
print str.replace("is", "was");
print str.replace("is", "was", 3)