数据分析方法论

一、前景

    1.企业数据收集难度越来越低，数据量越来越大，数据维度日渐复杂，企业无法全面解读和使用这些数据

    2.数据指标，数据分析报告，数据推动业务，已成为企业日常工作的核心关键词。用数据描述业务，用数据驱动业务；从数据中发现问题，从数据中解读方向，至关重要。

    3.我们需要从业务逻辑里抽象数据逻辑，从业务目标里具象数据指标，从业务问题里提炼数据问题；用以提升数据分析思想、数据分析能力和数据分析技巧；描述现状，发现规律，推动改进。

二、数据分析主要流程

    1. 需求分析

        问题定位；

        需求拆解；

        是确保数据分析过程有效性的必要条件，可以为数据收集处理分析数据提供清晰的目标。

    2. 数据收集

        Mysql数据查询；

        Hive的数据查询；

        爬虫 （Python)；

        按照确定的数据分析框架收集相关数据的过程，为数据分析过程提供了素材和依据，包括第一手数据（可直接获取）和第二手数据（经过加工整理后得到）。可以是我们APP的打点行为数据，也可是我们的第三方爬取的数据，还可以是公开的市场数据。

    3. 数据处理

        EXTRACT(提取)；

        Transform(转换)；

        LOAD(加载)；

        基本目的是从大量的杂乱无章的难以理解的数据，抽取并推导对解决问题有价值有意义的数据。主要包括数据清洗、数据转化、数据计算等。拿到的数据都需要数据清洗才能进行后续的数据分析工作，即使再干净的原始数据，也需要先进行数据处理后才能使用。

    4. 数据分析

        业务指标体系；

        数据分析模型；

        数据分析、统计分析方法；

        需要统计分析方法、分析框架和分析模型，也就是数据分析方法论；还需要各种工具，编程，辅助我们的工作完成。

    5. 数据可视化

        tableau；

        神策数据平台；

        quick bi；

        通过表格和图形来展示，也就是图表；能更高效传达出分析师所要表达的观点，在一般情况下能用图说明的问题，就不用表格，能用表格说明的问题，就不用文字。

    6. 数据分析报告

        首先要有明确的结论；然后需要有一个好的分析框架，逻辑清晰，层次分明，能让阅读者一目了然；最后在展示形式上，应该图文并茂，提高视觉冲击力，有助于阅读者更直观的清楚问题和结论，从而产生思考。

        核心目的是用数据分析推导出结论，并用结论推动业务更好的发展，在产出报告后，我们还需要推动业务、推动运营、产品、开发团队，将报告的建议，进一步变成实际的业务，从而优化策略，或者辅助策略定制。

三、 数据分析方法论

    1.明确问题方法论——5W2H

    梳理业务流程是一个挺复杂的过程，这个过程主要是以实际的业务场景为基础获取业务信息，然后抽象出一个以参与对象为节点的业务流程。用5W2H通过图等工具可以很方便的把业务梳理出来， 从而把问题明确。

“如何分析用户是否是小学生？”

        WHY —— 为什么会有这样的问题？为什么需要分析小学生而不是大学生或者小学生的女儿？

        WHO —— 这个产品的小学生和普通理解的小学生有没有差别？什么样的小学生才会使用这个产品？

        WHERE —— 每个地区的小学生是不是都有这样的特点？什么地方的小学生特点比较突出？小学生的位置信息是否会有特点？

        WHEN —— 小学生一般什么时候用这个产品？频率如何？和其他用户有什么差异？

        WHAT —— 小学生有什么与其他用户不同的特点？

        HOW —— 可能会有什么解决方案？

        HOW MUCH —— 这些解决方案影响有多大？什么方案最好？

    2.拆解问题方法论——逻辑树

        按照业务逻辑或者商业逻辑，把复杂问题拆解成若干个简单的子问题，像树枝一样逐步展开。把已知的问题比作树干，然后考虑哪些问题或任务与已知问题有关，将这些问题或子任务比作逻辑树的树枝，一个大的树枝上还可以继续延伸出更小的树枝，逐步列出所有与已知问题相关联的问题。

“如何分析一家互联网知名的某贵金属电商平台网站利润？”

    3.定位问题原因方法论

        当我们明确到某个具体指标出现问题后，通常我们需要定位问题的具体原因。

“如何分析某APP DAU逐渐下跌的原因”