在知乎看到“...qliksense desktop怎么玩?”,就想写一篇个人实际应用的文章。
因工作原因,曾每周需要出固定的运营数据报表,而且日常数据分析中也需要将多源数据(主要是导出的Excel、csv’文件)进行汇总整理后分析。当数据表太多的时候每次都要花费很多的时间,哪怕基本的处理都写好了Excel公式,复制粘贴就能搞定,可重复劳动还是很累。曾考虑学习下Excel录制宏自动化处理,据做财务的朋友讲这个很好用的,但也放弃啦。正好当时我所在公司因为业务发展需要考虑购进一套高级的CRM系统(创业公司发展需要,但后来也没能购进,这个忽略不谈),以及构建公司的BI,有幸与公司的架构师牛人合作,负责运营数据BI需求的梳理与数据标准化定义。开始谈起每周数据处理花费很多时间,牛人推荐了Qlik sense desktop(下文简称QSD),而且最后我们决定将这个作为公司BI的过渡版。也就是在BI平台搭建完毕前,我们根据公司各部门需求先将数据都做成Qlik数据包,并建好图形化展示,交付各部门自行查看以及进一部分分析使用,架构部门的同学负责每周更新数据包并且分发各部门。
简单说下,创业公司以及中小型公司的话,采用QSD作为BI过渡还是很可取的,除了人力成本外Qlik sense desktop是个人免费的。当然个人版在需要处理大量数据的情况下,很考验公司办公电脑的配置,就比如我现在也还在用QSD,刚看了下的QVF文件(QSD数据包保存格式)已经接近100M,估计共计500万行数据吧,有时候会卡到崩溃。现在QSD于我而言主要是做一些公司BI响应比较慢的需求——负责BI的同学很多时候并不能做到很及时的需求响应,而且一些探索性的数据分析也需要自行处理,QSD可以作为个人用ETL工具(不懂的自定百度百科)与分析辅助工具。这里需要说明下,本人并非技术人员,虽然懂一些SQL与Html,目前做数据分析都是用QSD辅助Excel2016。
由于公司数据库仅能通过堡垒机查询,无法导出,因此QSD的数据源更新都是通过Excel与CSV。在上家公司时候架构师同学有数据仓库完整操作权限,但用QSD作为过渡BI时候他还是选择写脚本自动导出Excel文件,然后手动更新每个QVF数据包来实现。本人并没有用过QSD连接数据库,全部都是通过Excel与CSV文件更新数据,而且无论拿到的文件中数据格式如何,都可以在QSD更新数据时处理。当然实在不知道QSD中如何处理成你想要的格式,也可以在Excel中处理好再更新,这也是我本人QSD学习的过程。
开始使用QSD:创建新应用程序
个人经验:建议初始都通过下图中面板加载数据,可视化操作,而且会自动添加日历函数 [autoCalendar],后续分析中特别方便。
添加数据的过程这里不赘述,基本上没有看不懂的——要实在看不懂那也自己想办法吧
建立数据表关联:在数据管理器中进行操作,鼠标操作即可,很简单,但同样数据量大了的时候更新很慢。
个人经验:刚开始构建时通过可视化的数据管理器操作,好处除了自动添加[autoCalendar]外,操作更加简单,东东鼠标即可,类似于Excel,初学者更容易上手。建立关联后可以在数据模型查看器查看。我曾考虑过改微软旗下的PowerBI Desktop(下文简称PBD),但发现相比较QSD操作更加繁琐一点。
插播广告时间:QSD与PBD比较之我个人见解
1、从数据可视化来比较我认为PBD优于QSD,虽然没有真正的使用PBD,但是可视化图形样式多,并且扩展更加方便——对于国内绝大多数用户而言,有中文社区高于一切优点,QSD的社区是英文的。虽然我能看明白QSD图形化展示样式可以扩展,理论上PBD可以做到的QSD也能做到,但英文的话然并卵
2、如果是新手且SQL也不熟甚至于不会,那么建议学习PBD吧,我想Excel你用的更加熟练,那么PBD用起来也差不多——我有时候简单的数据合并与数据格式数据会直接使用Excel 2016自带的功能 ,应该是叫Power Query
3、如果你有SQL基础,Excel函数了解的不是很多的话,那么建议学习QSD,其编辑器语法我感觉跟SQL类似,更加容易上手。而且,虽然我没有直接从数据库取数,但是QSD是用select从数据库取数的,是不是特别亲切呢。虽然从文件中取数用Load,但是语法一致。而PBD的编辑语法是用DAX函数语言,这个我大致了解了下,跟Excel的函数一致,但仅针对Table或者Column操作,理解上跟QSD的语法应该差不多,但总是要额外学习的。
4、QSD仅仅是个人辅助工具,如果公司有更好的BI工具,或者对于运营人员公司已经采购了更加完善的数据分析平台,我现在公司就有,比如Growing IO(评估过三未采纳)、神策数据(正在用),可能都不需要QSD,仅仅辅助Excel就能完成绝大多数的分析任务。如果这个时候你还在用QSD,比如说我,是因为特殊原因过渡而已,一旦解决马上会将现在已构建的QVF文件封存。有更好的大数据平台,有专业的数据运维人员负责数据的更新于维护,咱还是回归分析工作即可,没有必要搭上更多个人时间做数据运维的活儿——很多时候感觉是被逼无奈。
正式做数据分析:前文图中“应用程序视图”,创建新工作表,右上点“编辑”Button(下图),然后就可以创建你自己的分析面板啦。
个人经验:当你开始使用QSD后,你会在增加新的数据之前,构思数据的基本处理,无论是先通过Excel处理完更新到QSD,还是在QSD加载数据时处理。但在分析的过程中你总会有新的想法,需要对数据再次进行加工,这个时候有两种方案,一种是“数据管理器”或者“数据加载编辑器”中进行处理,一种是类似于Excel表中使用函数进行处理。如果临时的想法,仅做验证,那么在分析时写函数,当验证确实达到了你想要的效果,那么建议考虑数据加载时直接处理的方案啦,数据加载时处理数据,在分析中更加快速高效,不然你可能QVF文件仅仅50M,电脑就已经无法处理数据啦。
以上,希望对阅读了我这篇文字的同学有所帮助吧。我本人后续QSD用的会越来越少,毕竟只是过渡方案——个人理解无论什么时候这个都是过渡方案,任何企业发展到一定的阶段都会考虑构建自己的大数据分析平台与BI、AI系统,无论是自主研发还是采购第三方服务——但QSD总是一个可行的过渡型数据BI解决方案。我个人也不会放弃QSD的学习,希望后续有更多交流。
网友评论