数据领域的基本逻辑

数据处理逻辑图

一般从左到右的数据流向会分为源系统、贴源层、数据仓库、数据集市、数据应用等，不同公司根据业务不同，分层也会有所不同

数据建模的意义：把数据按模型落进去之后，能大大提升数据的处理、流转和提取效率，节省时间，赋能业务。数据建模的方法通常包括：星型、雪花型、Data Vault和3NF

什么是数据产品

广义：数据产品是可以发挥数据价值去辅助用户更优的做决策（甚至行动）的一种产品形式。它在用户的决策和行动过程中，可以充当信息的分析展示者和价值的使能者

狭义：淘宝数据魔方、百度指数、电商的CRM平台、各种公司内部的数据决策支持系统等都是数据产品

数据产品产生的背景

决策需要基于某种参考，简单的参考可以来源于直觉、经验、拍脑袋，最优的决策需要依赖于证据，定量的证据即时数据。随着数学、统计学、计算机科学的普及，数据在决策优化过程中的价值越来越大，在大数据时代尤其如此。

当数据已经上升为资产，成为与物质资产和人力资源同样重要的生产要素，成为生产和经营的重要环节，数据资产的使用也成为提高产业竞争力的关键要素。那么，如将这些数据资产盘活并使用，从未成为企业的竞争命脉，数据产品就是其中的一种方式。当然，关于数据资产的整体信息比较丰富，从数据治理到数据管理，再到数据资产的盘活和质量提升，以及后面的流通经营，是一套很深的逻辑。

决策中数据价值的体现主要有三种方式：a.数据本身、b.数据服务、c.数据产品。

举例来说：用户想知道明天的天气，直接看气温数据，即a发挥价值；咨询相关的数据分析师或顾问，由他们提供人工的数据服务或解决方案判断明天天气，即b发挥价值；使用数据产品，把数据、数据模型、分析决策逻辑尽可能多的固化到一个软件系统中，以更自动化、准确、智能的方式发挥数据的决策价值，即c。

数据产品的必要性

传统数据服务及问题

传统的数据服务方式包含：报表、指标、图表、OLAP工具

1. 业务理解不够，支撑能力不到位

传统应用工具技术性较强，通常是业务人员提需求，技术人员来满足。

而技术人员在开发过程中更注重于技术问题的解决，无法从业务使用需求来考虑报表的易用性、信息组织合理性等问题。这种对业务理解的欠缺导致传统数据服务对业务的支撑力不足。

2. 展现形式单一，信息传递不便捷

传统数据应用基本上是以数字形式来传递信息，缺少对数据内在关系和信息模式的展现，也无法加入数据分析算法来进行深入探索。

但是，如何体现业务特点？怎样跟业务流程结合？如何更为灵活地进行交互探索？

这些需求不能得到很好的满足，导致整体信息传递受限，也不利于决策辅助支持。

3. 加工过程漫长，工作效率不彰显

随着企业数据积累增多，数据加工的过程越来越繁琐漫长，因此，要在业务部门要求的时间内完成数据统计结果变得极为困难。

4. 覆盖范围狭窄，决策手段不彻底

当前数据服务形式覆盖范围也有很大限制，表现在：数据使用流程、数据使用时机、数据使用主体和数据使用形式等方面。

此处暂且不做进一步展开。

5. 服务意识不足，目标手段不统一

目前的数据服务方式技术特征太过明显，技术部门的关注重点也侧重在技术实现，这就助长了“技术傲慢”的出现，这样的思维限制了数据加工人员的服务意识。

随着如今互联网行业数据量的增加，技术与业务部门结合非常紧密，一切技术手段都服务于业务部门，甚至数据本身也可以成为一种全新的盈利模式，因此催生了更多的创新性数据应用出现。

新型数据应用-数据产品

优势与核心价值：

展现形式丰富形象：

相对于传统数据应用以数字为基础的服务形式，数据产品则在数据信息传递的形式方面更加形象和便利。

目的是：尽量让使用者在最短的时间内，获取到数据产品希望从当前数据变化趋势里展现的关键信息。

比如：现在各种天气预报APP，在传统获取温度的基础上衍生出诸如穿衣助手和洗车指数等概念。

数据覆盖程度广而全：

一款数据产品要想深得人心、被广泛应用，就必须在自身数据组织方面大量投入，使之具备强大的竞争能力。

数据展品的展现离不开数据的支持，那么数据的权威性，以及信息及时性就是考量数据产品是否有竞争优势的一个重要标准。

因此现如今的数据覆盖度广、时效性强，也为数据产品提供了重要支持。

决策逻辑便捷显性：

决策逻辑是大多数传统数据应用所欠缺的，它们只是简单地展示了需求方的数据展现需求。

而一款好的数据产品，应该可以帮助用户思考。尤其是将平时遇到业务痛点时的决策逻辑，部分或全部融合到数据产品后，通过便捷的交互方式，使得决策过程显性化，提高用户的决策效率。

行动流程数据驱动：

我们现在常说：数据驱动业务发展和创新。

那么，作为数据产品，仅停留在发现问题、分析问题是不够的，还需解决问题的能力，这就涉及行动流程。

比如：当数据产品分析某个细分用户群时，发现最近一个月其活跃度明显下滑，那就可以自动触发一个营销流程，通过针对性的信息推荐或是优惠活动，更好地提升细分用户群的活跃度。

所以，从某种意义上说，这类数据产品已经摆脱了过去OLAP的系统定位，融入到了生产流程之中，并且体现为数据驱动的巨大价值。

分析算法融合度高：

对很多人来说，数据分析能力是大数据应用的灵魂，而“算法将会深刻地改变世界”。

对于传统应用来说，结合算法非常困难，基本上数据挖掘工作跟数据展现、统计、决策支持是在两个平行线，只是对数据挖掘成果的应用环节，会用到那些报表、图表形式。

而现在，由于数据产品的丰富特性，它可以内嵌各种复杂算法，并且通过交互使用获得反馈，以进一步迭代优化，直至更为准确地反应规律来指导活动决策。

数据产品的类型

数据产品分为5大类：原始数据、派生数据、算法、决策支持和自动化决策

这些产品类型是根据日益增加的复杂性列出的。更具体一点来说，它们是根据不断增加的内部复杂性列出的，并且（应该）用户方面的复杂性较低。

换句话说，数据产品本身的计算、决策或“思考”越多，则用户需要的思考就越少

1、原始数据。从原始数据开始，我们收集并提供可用的数据（也许我们正在做一些小的处理或清理步骤）。然后，用户可以选择使用适当的数据，但大多数工作都是在用户完成的。

2、导出数据。在向用户提供派生数据时，我们在我们这边做一些处理。对于客户数据，我们可以添加其他属性，例如为每个客户分配一个客户段，或者添加他们单击广告或从某个类别购买产品的可能性。

3、算法。接下来我们有算法，或者算法服务。我们得到了一些数据，我们通过算法运行它-无论是机器学习还是其他-并返回信息或见解。谷歌图片就是一个很好的例子：用户上传图片，并接收一组与上传图片相同或相似的图片。在后台，该产品提取功能，对图像进行分类，并将其与存储的图像进行匹配，返回最相似的图像。

4、辅助决策型。在这里，我们希望向用户提供信息，帮助他们做出决策，但我们自己没有做决定。分析仪表盘（如Google Analytics、Flurry或WGSN）属于此类。我们做的大部分工作都是在自己进行的；我们的目的是以易于消化的格式向用户提供相关信息，以便他们做出更好的决策。在谷歌分析的案例中，这可能改变编辑策略，解决转换漏斗中的漏洞，或者双倍降低产品定价策略。这里要记住的重要一点是：虽然我们在数据收集、新数据的派生、选择要显示的数据以及如何显示这些数据等方面做出了设计决策，但是用户仍然有责任，自己解释这些数据。他们控制着对该数据采取（或不采取）行动的决定。

即定制服务型数据产品，是基于用户的深层次需求，构建最适合当前业务痛点的数据模型、产品设计、可视化方案等。在这里数据产品充当的更像是服务提供者，而不是一个通用的工具

【联合建模】

5、智能决策型。将给定领域内的所有智能外包出去。Netflix的产品推荐或Spotify的每周发现就是常见的例子。自动驾驶汽车或无人驾驶飞机更是这种闭环决策循环的物理表现。

即智能型数据产品，将大数据的智能性融入产品，并于决策逻辑结合，发挥作用。比如你可以有一套传统的会员营销系统，按自己的规则筛选目标用户；也可在更智能的数据产品中这样实现：输入你的营销目标及参数，比如要开展双十一母婴产品促销活动，系统可以基于以往数据计算出应该选择什么品类的商品，在什么用户群体中以什么形式开展更佳。

现有的大多数数据只是告诉你现在或未来的情况是怎样的，问题痛点出现在哪里，但却不能给出更完善的建议，甚至支持一个建议的执行。使能型数据产品要做的就是这样的工作，它不仅可以告诉你，哪些用户流失的倾向性大，还可以直接引导用户展开后续补救的执行流程，哪些细分群体需要通过促销活动刺激，哪些需要服务关乎，哪些需要为他提供专享的VIP业务，哪些需要更好的互动等等。

数据产品的服务对象

1）企业自建型，服务对象是企业员工。譬如我们公司的大数据平台，组建数据平台研发团队，自主开发创建前端对用户平台。

2）对标企业商业产品型，服务对象是企业，当然企业购买之后同样服务于企业员工。以我们公司为例，数据团队组建的前两年，我们都是直接买的数据分析工具——SAP BO（这就是我最开始接触的数据产品，准确来说是BI工具，即商业智能系统），后面我们又买了神策数据用来分析新零售这一块的业务（主要是对于微信、APP、外卖等的分析）；当然还有很多譬如Tableau、U-app等。

3）直接服务于大众的产品型。譬如腾讯体育NBA数据库、微信指数、百度指数等。

不同的数据产品类型服务于不同的人群，但是目标基本一致：发挥数据的价值帮助用户解决问题或者做业务决策。

数据的交互方式

1、API。对于API，我们假设一个技术用户。我们仍然应该遵循良好的产品实践，并确保API的使用直观，有良好的文档记录，能够满足用户的需求，并且值得我们使用。

2、仪表盘和可视化Dashboards and Visualisations。对于仪表盘和可视化，我们假设在处理数字方面具有一定的统计知识或能力。在最极端的情况下，我们可以为用户做很多繁重的工作，并努力确保我们只以易于理解的格式呈现最相关的信息。通过选择要显示的信息，我们正在影响决策，但它仍然将解释和决策留在用户的手中（或头脑中）。

3、网络元素Web elements。在过去5年左右的时间里，用户最不常见的数据产品的技术接口就是网络元素。最近，这些接口的应用被广泛扩展，包括语音、机器人和增强现实等。虽然这些新接口的设计细节都是明显不同的，但其中有相当大的重叠，因为它们都围绕着向用户展示决策结果，也许还传达了人工智能实现决策的原因或方式。

了解我们正在做的

每个点代表不同数据产品矩阵-不同的产品需要不同的方法

数据产品矩阵

从左上角的圆圈（原始数据API）斜向右下角的圆圈（自动决策Web元素）是指从技术、工程驱动的产品转向更典型的软件产品（即产品经理和设计师更直观的产品，往往出现在书中的产品、杂志和文章）。

数据PM需求把握的特殊性

第一个特殊性，是需求层次特殊性，数据产品的用户中往往会有很多内部用户，他们对数据、数据分享、数据处理的理解和熟练程度各有不同，因此会提出各种不同层次的需求，包括：1)业务/管理需求；2)分析需求；3)数据需求

第二个特殊性，是内部数据产品需求方的特殊性，企业内部的数据产品的用户，既是是用户，也是自己的同事、朋友、领导、下属，他们本身就对产品经理的决策权有一定的干预能力，需要产品经理去平衡“理想与现实”

数据产品的三个关键要素

要成就一个数据产品，需要关注三个关键要素：1)数据 2)决策逻辑 3)行动流程

数据的价值，毋庸置疑。它就像整体产品内部流淌的血液。具备什么样的数据类型、数据周期、数据粒度，往往会决定你的数据产品可以提供什么服务。

决策逻辑是很多平庸的数据产品所欠缺的，它们只是简单的、响应式的展示了需求方的报表。好的数据产品，应该可以帮助用户思考，尤其是将平时用户遇到业务痛点时的决策逻辑，部分或全部融合到数据产品后，以可视化的、动态的、便捷的显性化决策的过程，提高用户的决策效率。

仅停留在发现问题分析问题不够，还需要解决问题，涉及到第三个关键要素-行动流程。比如数据产品分析某个细分用户群时，发现最近一个月其活跃度明显下滑，是否可以自动触发一个营销流程，基于用户的特征开展个性化的行动流程，并在流程中各个环节发挥数据的价值

数据产品的设计流程

1.需求分析

这个步骤和互联网产品设计的需求分析类似，是产品设计的首要过程，包括商业需求分析、市场需求分析、产品需求分析和产品规划的过程。

2.数据指标设计

承接上一步需求分析的结果，制定出用户最感兴趣、易于理解，并且最能体现问题本质的数据指标。

3.数据可视化设计

根据上一步设计出来的数据指标，并且根据最终数据类型和表现目的，选择最佳的数据可视化方案，将每一个数据指标美观且直观地呈现给用户。

4.数据展现逻辑设计

包含数据指标展现逻辑设计、界面设计等过程，主要是根据各种已经实现了可视化方案的数据指标图标进行界面展现逻辑设计，除了对数据指标进行分类展现外，还需要从多个角度设计数据的展现逻辑，将每一个指标都有逻辑地呈现出来，使用户在看多个数据指标时清晰明了。

5.产品管理

包含研发管理、产品上线、后续维护、产品迭代更新或结束等过程，这个步骤和常规的产品经理对产品全生命周期负责的理念一致。

数据和大数据

数据产品=原材料+处理过程+结果展示与应用

大数据产品=高效的原材料（可以提供更高效的价值、更多角度、更深度、更实时、预测性）+高级的处理过程+高级的展示与应用

思考

定义：能自动化发挥数据价值的数据载体

数据产品系统化实施，搭建数据平台必不可少

职责描述

1、基础工作：

（1）埋点管理--对产品优化提供数据支持，规划埋点方案及维护埋点质量

（2）各业务线的数据需求整理、方案制定、产品设计、维护、运营的工作，深入理解数据分析需求，负责完成数据需求收集整理与抽象

（3）通过数据发现业务和产品中的问题，提出改进策略，并推进落地实施，观测效果反馈

2、数据体系：

（1）构建业务指标体系，负责指标字段搭建，并对数据准确性负责，达成数据口径一致

（2）各类相关数据的收集、梳理、分析、可视化呈现

（3）负责运营数据分析体系搭建

3、数仓建设

抽象业务模型，构建数据仓库，建设并管理业务指标体系；分析业务部分实际需求、规划、推进公司数据体系的建设及维护

负责公司和客户各类数据仓库

4、数据监控：

业务的经营分析数据监控，数据异常分析，定位业务问题，主动找出提升业务效率的方法；

4、数据平台：

数据平台本身数据安全、标准、质量的产品建设和方案设计；

数据产品优化--调研不同业务场景的数据需求，能够在各业务零散的数据需求中发现机会，抽象提炼出可行方案以及对应产品，优化数据产品解决方案；

5、数据产品：

（1）数据产品调研及设计、规划和实现，包括需求挖掘，制定产品规划及开发计划，为部门内部人员减负提效；

（2）可视化数据产品工具构建

6、智能创新

面向不同用户群体(管理者、职能部门、企业员工等)挖掘核心的数据诉求，在数据智能方向不断创新和探索，孵化出企业管理领域的数据产品，助力优化企业管理的业务过程；

7、数据应用：针对不同数据应用下游，提供对应的数据供应方案，提升数据应用效率。

8、数据策略：负责制定数据 ETL 策略，配合研发完成数据清洗，确认数据可用性

任职要求

经验：

有BI数据产品相关工作经验，且熟悉数据仓库底层相关架构，支持各业务产品运营侧需求

熟悉互联网产品，有数据分析，GA、友盟、TalkingData等网站分析工具的使用经验优先

有后台系统产品经验或相关设计思考优先

技能：

掌握从数据清洗到数据可视化各环节的关键技能；

良好的数据敏感度，了解大数据相关的基础知识，熟悉常见的数据分析和处理方法

熟悉数据仓库知识，熟悉流量数据生产、收集、处理、加工过程

熟练使用SQL，具有数据可视化经验

掌握主流数据库的基本原理与使用，了解R、python、perl等主流工具和脚本语言，掌握tableau、fineBI、cognos等主流报表工具其中的一种

对大数据信息技术的基本原理和工具有一定了解，了解基本的数据分析方法和数据挖掘算法

精通大数据仓库建设，有自己的数据仓库设计方法论，熟悉数据采集，数据清洗，数据集市及指标汇总等ETL开发全流程

熟悉互联网、电商业务常用的数据分析方法、模型，例如用户画像、商品画像，RFM模型等。了解常规运营手段，熟悉统计分析、数据建模等方法，了解产品运营思想，对利用数据提高用户活跃和留存、提升流量的转化效率等方面有较深入见解

熟悉数据仓库架构及原理，具备大型数据仓库架构设计、模型设计和处理性能调优等相关经验，熟悉SQL/Hive

能力/性格

扎实的统计基础，突出的逻辑分析和归纳能力，优秀的业务理解力和洞察力，善于沟通和表达

能够自驱动，快速理解业务逻辑并转化为产品设计，优秀的业务sence和产品敏锐度