美文网首页PowerQuery
【实例】用PowerQuery获取Mediawiki表格内容

【实例】用PowerQuery获取Mediawiki表格内容

作者: PowerQuery | 来源:发表于2016-10-25 13:49 被阅读147次

    一、需求

    我需要将一个表格放到内部wiki上共享,这个表格会随时更新。而这个表格的内容我需要用到一个PowerQuery查询中。

    按照一般的思路,是建立excel表格,然后用插件把excel内容转化成wiki形式;或者反过来,复制wiki表格,粘贴到excel中。两种方法,对我这个懒人而言,都嫌麻烦。

    于是找偷懒的方法。还是要从PowerQuery的数据源入手。

    二、【失败】获取web内容

    这个方法没用,因为内部wiki需要登录,而PowerQuery获取web内容时,无法提供网站登录功能。这意味着没法建立PowerQuery查询。

    三、【成功】获取网站内容

    Excel2016的“数据”选项卡,有个“获取外部数据”的区域,里边有“自网站”,我们需要选取这个。


    Excel2016功能区.png

    进入新建web查询页面后,将web地址粘贴到地址栏,点击“转到”:

    新建web查询.png

    此时会弹出窗口让选择区域:

    选取区域.png

    注意,不能选下面红框处的箭头标识的区域,原因未知。我只能选择左上角的箭头标识的区域,这会把整个网页采集下来。

    点“导入”后,整个网页就被导入到excel文件中去了。

    但工作还未结束,仔细分析页面,我们要的只是表格部分,其余web页的内容不要。我们需要将表格提取出来。这时我们选择“从表格”创建查询,将刚才导入的web页面全部加载到PowerQuery查询中。得为查询更改一个短一点好记的名字。

    观察表格结构,发现表格是从“索引”这一行开始的,因此,需要获取到包含“索引”二字的行号。利用List.PositionOf来查找表格第一列包含“索引”二字的行号。同样办法,获取到能够定位表格最后一行的字段所在的行号。再利用TableSkip()和Table.RemoveLastN()就能把表格确定出来。代码如下:

    let
    源 = Excel.CurrentWorkbook(){[Name="Sheet1!E7_83_9F_E8_8D_89_E7_BD_91_E7_BB_9C_E5_AD_A6_E9_99_A2_E4_BC_9A_E5_91_98_E5_90_8D_E5_8D_95"]}[Content],
    更改的类型 = Table.TransformColumnTypes(源,{{"Column1", type any}, {"Column2", type text}, {"Column3", type text}, {"Column4", type text}, {"Column5", type text}, {"Column6", type text}}),
    //下面这一步是通过获取表格首行所在的行号来跳过不需要的部分。
    删除的顶端行 = Table.Skip(更改的类型,List.PositionOf(更改的类型[Column1],"索引")),
    //下面这一步是通过获取表格末行所在的行号来跳过不需要的部分。
    删除的底部行 = Table.RemoveLastN(删除的顶端行,List.Count(删除的顶端行[Column1])-List.PositionOf(删除的顶端行[Column1],"取自“http://wiki.netschina.com/index.php/%E7%83%9F%E8%8D%89%E7%BD%91%E7%BB%9C%E5%AD%A6%E9%99%A2%E4%BC%9A%E5%91%98%E5%90%8D%E5%8D%95”")+1),
    提升的标题 = Table.PromoteHeaders(删除的底部行),
    排序的行 = Table.Sort(提升的标题,{{"是否会员", Order.Descending}})
    in
    排序的行
    

    这样就得到了我想要的数据。

    那么,如何刷新呢。还是通过“数据”选项卡的“全部刷新”即可,不需要单独去web连接刷新一下,然后再去刷新PowerQuery。

    四、补充

    我想照猫画虎去获取我们内部的一个学习平台的页面表格数据。但是失败。登录那一步跳出一个兼容性提示后就没法进入下一步了——始终不弹回到登陆页面。原因不明。

    相关文章

      网友评论

        本文标题:【实例】用PowerQuery获取Mediawiki表格内容

        本文链接:https://www.haomeiwen.com/subject/vxuruttx.html