美文网首页
用jsonpath解析文档

用jsonpath解析文档

作者: pCyth | 来源:发表于2019-06-28 16:31 被阅读0次

今天请求的网站是360教育的文章索引页,本来想着用bs4库来解析复习一下BS4库。然而没有想到返回的内容是JSON格式的,所以就用了jsonpath方式来解析。
俗话说写例子不上源码的都是耍流氓,就上一下源码。
要求:获取索引页中每篇文章的标题及简介
基本库:
import requests
import json
import jsonpath
发起请求:
url='https://groot.hao.360.cn/api/article/listcategory=KtjcPkPjYKK4OD&page={}&project_id=1'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'}
start_url = int(input('输入你要爬取的页数:'))
for page in range(1,start_url+1):
url = url.format(page)
r = requests.get(url=url,headers=headers)
将json转换为python对象:
obj = json.loads(r.text)
开始解析json格式文件:
title = jsonpath.jsonpath(obj,'$.data.article_data[*].title')

jaoshi = jsonpath.jsonpath(obj,'$.data.article_data[*].summary')

edit_time = jsonpath.jsonpath(obj,'$.data.article_data[*].edit_time')

如有错误,望提之,共勉!
2019.6.28

相关文章

  • 用jsonpath解析文档

    今天请求的网站是360教育的文章索引页,本来想着用bs4库来解析复习一下BS4库。然而没有想到返回的内容是JSON...

  • JSONPath入门及测试

    JSONPath入门 JSONPath - 是xpath在json的应用,是参照xpath表达式来解析XML文档的...

  • 07-数据提取-jsonpath

    jsonpath用来解析多层嵌套的json数据jsonpath官方文档 安装 语法 使用 字典的根节点为最外部大括...

  • JSONPath解析json

    JSONPath 用来解析多层嵌套的json数据,JsonPath 是一种信息抽取类库,是从JSON文档中抽取指定...

  • jsonpath模块01

    JSONPath 表达式 JSONPath 是参照,xpath表达式来解析xml文档的方式,json数据结构通常是...

  • 1,JsonPath简介

    1,Jayway JsonPath Jayway JsonPath是一个读取json文档的java DSL 实现 ...

  • jsonpath解析

    2019-06-03 jsonpath用来解析json数据使用的 python处理json格式用到的函数 impo...

  • Python之JsonPath解析json数据

    一、JsonPath介绍: 首先,JsonPath 是一种信息抽取类库,是从JSON文档中抽取指定信息的工具,提供...

  • python中jsonpath模块

    简介jsonpath表达式与xPath表达式类似,jsonpath是一种信息抽取类库,提供的json解析非常强大,...

  • jsonpath 2022-01-16

    jsonpath是用于解析json文件的强大工具,不同语言都有各自的实现 jsonpath的设计思想和正则表达式相...

网友评论

      本文标题:用jsonpath解析文档

      本文链接:https://www.haomeiwen.com/subject/ymlecctx.html