美文网首页数据科学家
你了解你的数据吗(筑基篇)

你了解你的数据吗(筑基篇)

作者: 2453cf172ab4 | 来源:发表于2018-01-21 13:59 被阅读77次

0x00 前言

刚入行做数据开发的时候经常听企业导师讲,你要有数据的意识,不能只知道闷着头来一个需求接一个,要从业务的角度来理解数据,这样你的职业线才能更长。

本篇不会分享和业务强相关的数据 Sense,但是会引入一些各种业务都会涉及的最基本内容:

  1. 数据核心维度分布:核心业务维度分布,主要是指像年龄、地域、性别之类的维度分布。
  2. 数据口径:数据口径可以理解为同名字段在不同表中的取值范围。

0x01 数据核心维度分布

核心维度分布主要是指数据中那些比较重要的列的内容分布,比如说用户最基本的年龄、性别和城市信息,这是最常用的数据分布,再引申一点的话会涉及到一些业务内容,比如说各省份的人的订单情况、不同时间段男女活跃信息对比,等等。如果有用户画像表的话还应包括各种画像中的维度分布。

因此,我们来做一个大概的划分的话,那就是三部分内容:1.基础资料;2.业务行为;3.用户画像。这三部分能帮助我们来理解用户是什么样子的?更好的懂业务,能促进更深入地理解数据。

[图片上传失败...(image-6c48ec-1516514351073)]

上图是我画的一个大致的图,具体的内容应该是自己根据业务来详细的划分和填充。这些数据内容,你了解吗?不了解的话,就赶快整理一下吧。

0x02 数据口径

关于数据口径,很难给它一个准确权威的定义,我们不妨举几个例子来说明:

  1. 假设性别字段在表A中的取值是0、1、2(未知、男、女),在表B中取值是0、1、2(男、女、未知),这可能是从不同业务方接入的数据,现在需要将两份数据合并,来算整体的男女比例,如果你不知道两个表的数据口径,会出现什么样的结果?
  2. 假设你有很多数据都有ip这一个字段,ip为空的时候默认值是0,如果新接入一份数据,它的ip为空的默认值是null或者是-1,你之前的程序能很好地处理完成吗?
  3. 然后数据粒度的问题,同样的年龄字段,在表A中是具体的年龄数值,在表B中是0-20、20-30这样的数值,你直接使用会是什么情况?

上面就是我想表达的关于数据口径的一些例子,下面整理了一份大致的思维导图可供参考。

[图片上传失败...(image-3d2736-1516514351073)]

关于数据口径的问题,如何避免和解决这些问题可能就是一行代码或者是提前约定好规则就能搞定的,但是我们要先有这种意识,有了这样的意识,我们在接入和处理数据的时候就能提前预知问题或者出现问题了能快速定位和解决。

0x02 总结

本篇的内容是希望数据小伙伴能从相对贴近数据或者说是贴近业务的层面上来理解数据。

数据的核心维度分布能让你对自己的数据有更全局观地把控,数据口径的问题能让你从更微观地角度来理解数据,以便更好地去处理数据。


作者:木东居士 |简书 | CSDN | GITHUB

个人主页:http://www.mdjs.info

文章可以转载, 但必须以超链接形式标明文章原始出处和作者信息

相关文章

  • 你了解你的数据吗(筑基篇)

    0x00 前言 刚入行做数据开发的时候经常听企业导师讲,你要有数据的意识,不能只知道闷着头来一个需求接一个,要从业...

  • 你了解你的数据吗(结丹篇)

    0x00 前言 结丹篇是《你了解你的数据吗》第四篇,本篇主要聊的内容主要和数据质量监控有关,之前在《数据质量监控》...

  • 你了解你的数据吗(练气篇)

    0x00 前言 数据一道,可深可浅,可大可小。同为数据人,新手和老鸟亦有很大差别。本篇是了解数据的入门篇,包含两部...

  • 你了解你的数据吗(元婴篇)

    0x00 前言 本篇是《你了解你的数据吗》的第五篇,在前面的几篇文章中,我们聊到了数据接入量、数据的坑、数据核心维...

  • 筑基激发的人体进化

    很多人都知道修行首先要筑基,也通过之前的语录了解到筑基的一些基本标准,却不清楚筑基成功给自己日常生活带来的实际好处...

  • 手写自由写作 14/21 关于筑基

    今天点评战友的文章时,被她的千篇日志筑基震感到了。我分明感受到了千篇和筑基的能量! 在我还在为写100篇的点评系列...

  • 你了解你的数据吗(开篇)

    0x00 前言 你了解你的数据吗? 前几天突然来了点灵感,想梳理一下自己对数据的理解,因此便有了这篇博客或者说这系...

  • 中国真正丹道理法及工程次第阐真(九)谢怀宇 谢怀昭

    第五篇筑基概说及补充部分 第一章:筑基总说 鸿蒙内丹筑基法理在前一部分已详述,但还有未尽之处,故需在此略为补充一部...

  • 你了解“数据挖掘吗”

    近几年大数据异常火热,往远了看去,毫不夸张得说未来10年依旧是大数据的天下,未来就是探索挖掘数据的应用场景,涉及金...

  • 第十四章 万宝商会拍卖会

    “战天叔叔,这颗筑基丹你拿着,找个空余时间进行突破吧。”林帝说到。 “筑基丹!”林战天错愕了一下,随后狂喜道:“家...

网友评论

    本文标题:你了解你的数据吗(筑基篇)

    本文链接:https://www.haomeiwen.com/subject/jjgfaxtx.html