python数据挖掘

python数据挖掘常用模块

numpy模块：用于矩阵运算、随机数的生成等
pandas模块：用于数据的读取、清洗、整理、运算、可视化等
matplotlib模块：专用于数据可视化，当然含有统计类的seaborn模块
statsmodels模块：用于构建统计模型，如线性回归、岭回归、逻辑回归、主成分分析等
scipy模块：专用于统计中的各种假设检验，如卡方检验、相关系数检验、正态性检验、t检验、F检验等
sklearn模块：专用于机器学习，包含了常规的数据挖掘算法，如决策树、森林树、提升树、贝叶斯、K近邻、SVM、GBDT、Kmeans等

数据分析和挖掘推荐的入门方式是？小公司如何利用数据分析和挖掘?

关于数据分析与挖掘的入门方式是先实现代码和Python语法的落地（前期也需要你了解一些统计学知识、数学知识等），这个过程需要你多阅读相关的数据和查阅社区、论坛。然后你在代码落地的过程中一定会对算法中的参数或结果产生疑问，此时再去查看统计学和数据挖掘方面的理论知识。这样就形成了问题为导向的学习方法，如果将入门顺序搞反了，可能在硬着头皮研究理论算法的过程中就打退堂鼓了。
对于小公司来说，你得清楚的知道自己的痛点是什么，这些痛点是否能够体现在数据上，公司内部的交易数据、营销数据、仓储数据等是否比较齐全。在这些数据的基础上搭建核心KPI作为每日或每周的经营健康度衡量，数据分析侧重于历史的描述，数据挖掘则侧重于未来的预测。
差异在于对数据的敏感度和对数据的个性化理解。换句话说，就是懂分析的人能够从数据中看出破绽，解决问题，甚至用数据创造价值；不懂分析的人，做不到这些，更多的是描述数据。

请问能稍微介绍下数据分析与数据挖掘的应用场景么?

不妨举两个典型的例子：
1）识别互联网行业中的“黄牛”。移动互联网时代下，电商平台之间的竞争都特别的激烈，为了获得更多的新用户，往往会针对新用户发放一些诱人的福利，如红包券、满减券、折扣券、限时抢购优惠券等，当用户产生交易时，就能够使用这些券减免一部分交易金额。然而，某些心念不正的用户为了从中牟取利益，破坏大环境下的游戏规则。以某电商为例，数据分析人员在一次促销活动的复盘过程中，发现交易记录存在异常，于是就对这批异常交易作更深层次的分析和挖掘。最终发现这批异常交易都有两个共同特点，那就是一张银行卡对应数百个甚至上千个用户id，同时，这些id至始至终就发生一笔交易。暗示了什么问题？这就说明用户很可能通过廉价的方式获得多个手机号，利用这些手机号去注册APP成为享受福利的多个新用户，然后利用低价优势买入这些商品，最后再以更高的价格卖出这些商品，这种用户我们一般称为“黄牛”。
2）完美的动态定价营销法。打车工具的出现，改变了人们的出行习惯，也改善了乘车的便捷性，以前都是通过路边招手才能乘上出租车，现在坐在家里就可以完成一对一的打车服务。起初滴滴、快滴、优步、易到等打车平台，为了抢占市场份额，不惜一切代价，花费巨资补贴给司机端和乘客端，在一定程度上获得了用户的青睐，甚至导致用户在短途出行中都依赖上了这些打车工具。然而随着时间的推移，打车市场的格局基本定型，企业为了自身的利益和长远的发展，不再进行这种粗放式的“烧钱”运营手段。当司机端和乘客端不再享受以前的福利待遇时，一定程度上会影响乘客端的乘车频率和司机端的接单积极性。为了弥补这方面的影响，某打车平台将利用用户的历史交易数据，为司机端和乘客端的定价进行私人订制。例如针对乘客端，通过各种广告渠道将折扣券送到用户手中，一方面可以唤醒部分沉默用户（此时的折扣力度会相对比较高），让他们再次回到应用中产生交易，另一方面继续刺激活跃用户的使用频率（此时的折扣力度会相对比较低），进而提高用户的忠诚度；针对司机端，根据司机在平台的历史数据，将其接单习惯、路线熟悉度、路线拥堵状况、距离乘客远近、天气变化、乘客乘坐距离等信息输入到逻辑模型中，可以预测出司机接单的概率大小。这里的概率一定程度上可以理解为司机接单的意愿，如果概率越高，则说明司机接单的意愿就越强，否则意愿就越弱。当模型发现司机接单的意愿比较低时，就会发放较高的补贴给司机端，否则司机就会获得较少的补贴甚至没有补贴。如果不将数据分析与挖掘手段应用于大数据的交通领域，就无法刺激司机端和乘客端的更多交易，同时，也会浪费更多的资金，造成营成本居高不下，影响企业的发展和股东的利益。