本文粗略的介绍遇到网页的数据需要使用POST方法时,PowerBI怎么能够获取到数据。
讲正题之前,闲聊两句。在很久之前,貌似在Excel集成Power Query之前,有个功能是提供一个url,然后可以预览网页。这时候网页上预览到内容如果有表格之类的内容,表格之前有个按钮,点击这个按钮,就可以把网页的内容抓取到表格中。
这个功能本来我以为微软会做一些改进,比如支持翻页啥的。然而,后来出了PowerBI,翻页倒是支持了,但我想要的可以选择的内容却不知道在哪儿选了(实际上可能是改进的操作流程在list和record之间的转换我没有完全理解)。
直到今天,看到基金网站的数据,可以通过POST方法传入基金的ID等数据,请求相关接口返回json数据。于是想到是否可以通过PowerBI来实现自动数据获取。
然后就试了一下,还真行。最后发现一条挺通用的路:PowerBI请求数据→M语言进行数据处理/不行的话Python或R脚本→DAX再进行处理/不行的话再Python或R脚本→PowerBI展示。这条通路还真是不错,即解决了Python在绘图方面的无力(对我来说),又解决了PowerBI在数据处理方面的无力(还是对我来说)。
我们以景顺长城基金数据来举例:
-
首先在基金的详情页可以看到基金的净值数据:中证500行业中性低波动指数(基金代码:003318)
-
然后F12,再刷新一下网页,可以看到各种请求,在其中的一个JSON请求中,可以看到包含navList的数据就是净值的数据(这个过程似乎没啥简便方法,就是一个个的请求找,然后对比网页上显示的数据)
再看看请求的数据,没错,POST方法,带了2个参数:funcNo,好像是一个功能id之类的,不管基金代码是啥,都带上这个号就行了。fundid就是基金代码。
- 接下来我们来手写M代码,实现数据获取
let
url="http://www.igwfmc.com/servlet/json",
query=[funcNo="904104",fundid="003318"],
源 = Json.Document(Web.Contents(url,[Query=query]))
in
源
点击确定后,我们得到了3个list,对比一下,可不真是我们第2步中看到的json里面的3个对象嘛!
-
imcomList对应的是基金收益走势图的数据,navList对应的是基金净值走势图的数据。所以我们点击navList,然后点击菜单栏的转换到表,然后如下图操作:
然后数据就出来了:
- 转化数据:我想获取数据,并计算一下每周、每月哪一天的基金是下跌的(下跌的时候买,似乎比较容易赚钱),这样来决定按周或按月定投确定在哪一天(注意这个方法可是很粗糙,郑重声明:模仿造成的收益损失都与本人无关)。
所以我们还需要计算一下每天的涨跌幅度,计算涨跌,其实就是:(今日数据-昨日数据)/昨日数据。然而,PowerBI中我并不会操作,DAX感觉还可以研究一下搞出来,M就别说了。
不过幸好,这里可以用Python,于是增加一步(注意上面出来的数据都是文本,所以先把我们需要的数据sumofnav转换成数值后再编Python代码),点击转换菜单中的运行Python脚本,并输入:
# 'dataset' 保留此脚本的输入数据
import pandas as pd
dataset=pd.DataFrame(dataset)
dataset['pct_change']=dataset['sumofnav'].pct_change(1)
-
然后又搞出个table,然后有扩展操作一下(参考第5步),涨跌幅数据就出来了
之后就是各种计算,比如把涨跌幅分成:涨、平、跌,或者:大涨、涨、平、跌、大跌。然后设置好其他的数据格式,和日期表结合,形成按周几、按日的统计。
来看看结果(这个结果不是开始的那个基金,是另一个基金的):
所以:周四投,稳赢;7、11、16、17、25这几天投也稳赢?
算了,还是别信这个了,分年来看,结果大不相同。
想稳赢,怕还是不行。