美文网首页
PowerBI获取Post请求的网络数据

PowerBI获取Post请求的网络数据

作者: 一起学分析 | 来源:发表于2020-08-31 09:37 被阅读0次

本文粗略的介绍遇到网页的数据需要使用POST方法时,PowerBI怎么能够获取到数据。

讲正题之前,闲聊两句。在很久之前,貌似在Excel集成Power Query之前,有个功能是提供一个url,然后可以预览网页。这时候网页上预览到内容如果有表格之类的内容,表格之前有个按钮,点击这个按钮,就可以把网页的内容抓取到表格中。

这个功能本来我以为微软会做一些改进,比如支持翻页啥的。然而,后来出了PowerBI,翻页倒是支持了,但我想要的可以选择的内容却不知道在哪儿选了(实际上可能是改进的操作流程在list和record之间的转换我没有完全理解)。

直到今天,看到基金网站的数据,可以通过POST方法传入基金的ID等数据,请求相关接口返回json数据。于是想到是否可以通过PowerBI来实现自动数据获取。

然后就试了一下,还真行。最后发现一条挺通用的路:PowerBI请求数据→M语言进行数据处理/不行的话Python或R脚本→DAX再进行处理/不行的话再Python或R脚本→PowerBI展示。这条通路还真是不错,即解决了Python在绘图方面的无力(对我来说),又解决了PowerBI在数据处理方面的无力(还是对我来说)。

我们以景顺长城基金数据来举例:

  1. 首先在基金的详情页可以看到基金的净值数据:中证500行业中性低波动指数(基金代码:003318)

    基金净值数据
  2. 然后F12,再刷新一下网页,可以看到各种请求,在其中的一个JSON请求中,可以看到包含navList的数据就是净值的数据(这个过程似乎没啥简便方法,就是一个个的请求找,然后对比网页上显示的数据)


    请求数据
  3. 再看看请求的数据,没错,POST方法,带了2个参数:funcNo,好像是一个功能id之类的,不管基金代码是啥,都带上这个号就行了。fundid就是基金代码。

基金净值数据的请求内容
  1. 接下来我们来手写M代码,实现数据获取
let
    url="http://www.igwfmc.com/servlet/json",
    query=[funcNo="904104",fundid="003318"],
    源 = Json.Document(Web.Contents(url,[Query=query]))
in
    源

点击确定后,我们得到了3个list,对比一下,可不真是我们第2步中看到的json里面的3个对象嘛!


返回的数据
  1. imcomList对应的是基金收益走势图的数据,navList对应的是基金净值走势图的数据。所以我们点击navList,然后点击菜单栏的转换到表,然后如下图操作:


    将数据转化出来

然后数据就出来了:


最终数据
  1. 转化数据:我想获取数据,并计算一下每周、每月哪一天的基金是下跌的(下跌的时候买,似乎比较容易赚钱),这样来决定按周或按月定投确定在哪一天(注意这个方法可是很粗糙,郑重声明:模仿造成的收益损失都与本人无关)。

所以我们还需要计算一下每天的涨跌幅度,计算涨跌,其实就是:(今日数据-昨日数据)/昨日数据。然而,PowerBI中我并不会操作,DAX感觉还可以研究一下搞出来,M就别说了。

不过幸好,这里可以用Python,于是增加一步(注意上面出来的数据都是文本,所以先把我们需要的数据sumofnav转换成数值后再编Python代码),点击转换菜单中的运行Python脚本,并输入:

# 'dataset' 保留此脚本的输入数据

import pandas as pd

dataset=pd.DataFrame(dataset)
dataset['pct_change']=dataset['sumofnav'].pct_change(1)
  1. 然后又搞出个table,然后有扩展操作一下(参考第5步),涨跌幅数据就出来了


    增加涨跌幅列
  2. 之后就是各种计算,比如把涨跌幅分成:涨、平、跌,或者:大涨、涨、平、跌、大跌。然后设置好其他的数据格式,和日期表结合,形成按周几、按日的统计。

来看看结果(这个结果不是开始的那个基金,是另一个基金的):


什么时候投知道了吧

所以:周四投,稳赢;7、11、16、17、25这几天投也稳赢?
算了,还是别信这个了,分年来看,结果大不相同。
想稳赢,怕还是不行。

相关文章

  • PowerBI获取Post请求的网络数据

    本文粗略的介绍遇到网页的数据需要使用POST方法时,PowerBI怎么能够获取到数据。 讲正题之前,闲聊两句。在很...

  • JSON数据获取和解析

    AFNetWorking对网络数据post请求获取数据步骤 1.创建“AFHTTPRequestOperation...

  • Volley理解

    优点A:用get ,post请求,以及网络图像的高效获取请求 B:对网络优先级排序处理 C:对请求的数据进行缓存 ...

  • 6.2KOA 数据请求 Request

    数据请求 Request 获取 Request 对象 获取 url 参数 获取 Get 请求参数 获取 POST ...

  • day72-mongodb数据库的使用

    1使用post请求爬取数据 当网页中的数据不是以get请求获取到的时候,就需要使用post请求去获取数据。 ses...

  • gf框架请求

    获取GET请求参数 Server: 执行请求: 获取POST请求参数 执行请求: 获取任意提交方式的请求数据 执行...

  • iOS之网络简解篇.

    网络 HTTP请求 GET请求 POST请求 数据解析 JSONNSJSONSerialization XMLSA...

  • PHP编程指南(三)Get、Post表单处理

    获取表单数据需要使用PHP超级元组: $_GET从get请求中检索数据 $_POST从post请求中检索数据 GE...

  • http协议,tcp/udp汇总

    GET和POST请求方式的区别? get获取数据,post发送数据 get拼接URL后面,post参数放在body...

  • iOS-进阶整理05 - 网络请求Session与Connect

    一、网络请求的基本知识 1.get方法与post方法 get是从服务器上获取数据,post是向服务器传送数据。 g...

网友评论

      本文标题:PowerBI获取Post请求的网络数据

      本文链接:https://www.haomeiwen.com/subject/eiwdsktx.html