美文网首页
PowerBI获取Post请求的网络数据

PowerBI获取Post请求的网络数据

作者: 一起学分析 | 来源:发表于2020-08-31 09:37 被阅读0次

    本文粗略的介绍遇到网页的数据需要使用POST方法时,PowerBI怎么能够获取到数据。

    讲正题之前,闲聊两句。在很久之前,貌似在Excel集成Power Query之前,有个功能是提供一个url,然后可以预览网页。这时候网页上预览到内容如果有表格之类的内容,表格之前有个按钮,点击这个按钮,就可以把网页的内容抓取到表格中。

    这个功能本来我以为微软会做一些改进,比如支持翻页啥的。然而,后来出了PowerBI,翻页倒是支持了,但我想要的可以选择的内容却不知道在哪儿选了(实际上可能是改进的操作流程在list和record之间的转换我没有完全理解)。

    直到今天,看到基金网站的数据,可以通过POST方法传入基金的ID等数据,请求相关接口返回json数据。于是想到是否可以通过PowerBI来实现自动数据获取。

    然后就试了一下,还真行。最后发现一条挺通用的路:PowerBI请求数据→M语言进行数据处理/不行的话Python或R脚本→DAX再进行处理/不行的话再Python或R脚本→PowerBI展示。这条通路还真是不错,即解决了Python在绘图方面的无力(对我来说),又解决了PowerBI在数据处理方面的无力(还是对我来说)。

    我们以景顺长城基金数据来举例:

    1. 首先在基金的详情页可以看到基金的净值数据:中证500行业中性低波动指数(基金代码:003318)

      基金净值数据
    2. 然后F12,再刷新一下网页,可以看到各种请求,在其中的一个JSON请求中,可以看到包含navList的数据就是净值的数据(这个过程似乎没啥简便方法,就是一个个的请求找,然后对比网页上显示的数据)


      请求数据
    3. 再看看请求的数据,没错,POST方法,带了2个参数:funcNo,好像是一个功能id之类的,不管基金代码是啥,都带上这个号就行了。fundid就是基金代码。

    基金净值数据的请求内容
    1. 接下来我们来手写M代码,实现数据获取
    let
        url="http://www.igwfmc.com/servlet/json",
        query=[funcNo="904104",fundid="003318"],
        源 = Json.Document(Web.Contents(url,[Query=query]))
    in
        源
    

    点击确定后,我们得到了3个list,对比一下,可不真是我们第2步中看到的json里面的3个对象嘛!


    返回的数据
    1. imcomList对应的是基金收益走势图的数据,navList对应的是基金净值走势图的数据。所以我们点击navList,然后点击菜单栏的转换到表,然后如下图操作:


      将数据转化出来

    然后数据就出来了:


    最终数据
    1. 转化数据:我想获取数据,并计算一下每周、每月哪一天的基金是下跌的(下跌的时候买,似乎比较容易赚钱),这样来决定按周或按月定投确定在哪一天(注意这个方法可是很粗糙,郑重声明:模仿造成的收益损失都与本人无关)。

    所以我们还需要计算一下每天的涨跌幅度,计算涨跌,其实就是:(今日数据-昨日数据)/昨日数据。然而,PowerBI中我并不会操作,DAX感觉还可以研究一下搞出来,M就别说了。

    不过幸好,这里可以用Python,于是增加一步(注意上面出来的数据都是文本,所以先把我们需要的数据sumofnav转换成数值后再编Python代码),点击转换菜单中的运行Python脚本,并输入:

    # 'dataset' 保留此脚本的输入数据
    
    import pandas as pd
    
    dataset=pd.DataFrame(dataset)
    dataset['pct_change']=dataset['sumofnav'].pct_change(1)
    
    1. 然后又搞出个table,然后有扩展操作一下(参考第5步),涨跌幅数据就出来了


      增加涨跌幅列
    2. 之后就是各种计算,比如把涨跌幅分成:涨、平、跌,或者:大涨、涨、平、跌、大跌。然后设置好其他的数据格式,和日期表结合,形成按周几、按日的统计。

    来看看结果(这个结果不是开始的那个基金,是另一个基金的):


    什么时候投知道了吧

    所以:周四投,稳赢;7、11、16、17、25这几天投也稳赢?
    算了,还是别信这个了,分年来看,结果大不相同。
    想稳赢,怕还是不行。

    相关文章

      网友评论

          本文标题:PowerBI获取Post请求的网络数据

          本文链接:https://www.haomeiwen.com/subject/eiwdsktx.html