来源:CPDA数据分析师网 / 作者:数据君 /
学习CPDA数据分析师,可以加数据君的微信:shujujun2016
无论数据库多么出色
在其上构建应用程序从未如此简单,归一化的数据,无论是否在数学上都是纯净的,都使人类难以进行编程,尽管在编辑器中SQL可能看起来很漂亮,但是从编程的角度来看,这是查询您可能想到的最困难的信息的方法,关系数据库将其固定和可预测的数据模型称为功能,但实际上不灵活的数据模型对任何现实世界开发人员的生产率都是束缚,只需问问任何CIO他们多久滚动一次新模式到他们的应用程序团队,他们通常就会把手放在自己的头上。
关系数据的原始世界与我们息息相关
主要是关系数据,确实采用企业用来帮助管理员工或跟踪其供应链中的小部件的所有那些记录系统吗?几乎完全是关系数据,实际上开发人员仍将古老的系统用于从在线售票到广告系统的所有内容,从关系到文档再到图形再到键值再到多模型……您就可以为其命名,特别是在过去的十年中,我们看到了数据库选项的爆炸式增长,尽管没有开发人员希望精通350个甚至35个数据库,但事实是,我们拥有这样的选择水平,这表明许多人希望构建更好,更轻松的方法来管理不断变化的数据,这也说明了其中一些人没有足够的动力来重塑数据库,而不是在一些项目中成为伙伴。
尽管人们一直在创建新数据库
但是为现有的开放源数据库项目做出贡献以帮助他们获得被认为缺少的功能可能会更具成本效益,然而...叉发生了,通常现有项目无法适应新的发展方向,有时他们的架构也不会,即使一切看起来都“解决了”,它也可以在数据库等领域“探索新事物”,这意味着即使我们实际上不需要经常使用的“更多”数据库,我们也可能会获得356个以上的数据库,无论我们是围绕几个现有项目还是创新项目,数据的未来都是“更多”。
2020年数据科学面临的挑战以及应对这些挑战的四种方法
在数据科学的新状态中,发现在数据中寻找价值,集成开源软件,小型人才库以及围绕数据的道德问题是麻烦所在,数据科学只是企业稳定的一部分。实际上,它有几个严重的挑战需要克服,缺乏价值实现,对使用开源工具的关注,寻找和保留人才的麻烦以及对道德的关注数据和模型的偏见,依靠数据科学的机构仍在发展对如何集成,支持和利用它的理解,发现的四个问题领域是数据科学从企业业务的新兴部分到未来工作计划的基本部分的持续发展的关键。
1.从数据科学中获取价值
该问题主要源于生产障碍,例如管理依赖关系和环境,缺乏部署生产模型所需的组织技能以及安全问题,这三个问题加在一起导致52%的数据科学专业人士表示,他们难以证明数据科学对业务成果的影响,这在各个部门之间各不相同,其中医疗数据专业人士的证明利益最多,其中有66%的人表示有时或永远无法做到这一点,而咨询业则只有29%的人表示相同,将数据科学产出投入生产将变得越来越重要,这要求领导者和数据科学家都必须消除部署的障碍,并要求数据科学家学习交流其工作的价值。
2.难以集成开源数据科学工具
根据这份报告,开源编程语言Python在数据科学家中占主导地位,有75%的人表示他们经常或始终在工作中使用它,尽管开放源代码软件在数据科学世界中非常流行,但仍有30%的受访者表示他们并未采取任何措施来保护其开放源代码管道,开源分析软件之所以受到受访者的青睐,是因为他们认为创新速度更快,更适合他们的需求,安全问题可能表明组织采用开源工具的速度很慢。
建议:企业应采取积极主动的方法,将开源解决方案集成到开发流程中,以确保数据科学家不必在政策范围之外使用他们偏爱的工具。
基于Python的开源数据科学平台的制造商,由于受访者是通过社交媒体的电子邮件数据库招募的,因此其调查结果可能倾向于开源产品。
3.查找和保留合格的数据科学家的麻烦
这里有几层问题需要解决,首先该报告发现,学生在学习什么,大学在学什么,不一定是企业从新数据科学家那里得到的,企业最常提及的两个技能差距(大数据管理和工程技能)甚至没有跻身于大学为数据科学专业学生提供的十大技能之列,另一个问题是人才保留,报告发现,这与数据科学专业人员能够证明其工作价值的频率紧密相关,但是有44%的数据科学家表示,他们计划在明年内寻找其他工作。
1、企业需要与教育机构合作,以确保其课程正在教授学生企业所需的技能。
2、雇主应设计整体数据科学保留计划,其中包括帮助员工学习阐明其工作价值,并提供培训和成长的机会。
3、确保数据科学家有机会接受交叉培训,以增加其贡献的价值。
4.消除偏见并解释机器学习
在我们的研究中发现的所有趋势中,我们发现解决偏见和公平以及使机器学习的可解释性最缓慢的进展是缓慢的,道德责任和公平都是围绕机器学习和人工智能而产生的所有问题,企业应将道德,可解释性和公平视为战略风险向量,并给予相应的关注和关注,尽管解决机器学习模型和数据科学中固有的偏见的重要性,但这并未发生,只有15%的受访者表示他们已经实施了偏见缓解解决方案,而只有19%的受访者这样做是出于可解释性,接受调查的企业中有39%表示他们没有计划解决数据科学和机器学习方面的偏见,还有27%的企业表示他们没有计划使这一过程更具可解释性,除了所关心的道德问题以外,未能主动解决这些问题对企业和机构构成战略风险,涉及竞争,财务甚至法律等各个方面。
推荐的解决方案是让数据科学家充当领导者
并尝试推动企业的变革,这样做将增加该学科在依赖该学科的组织中的地位,更重要的是,它将带来创新和解决问题的能力,这是该专业众所周知的,可以解决影响社会的重大问题。
网友评论