熊猫被Spark后就成了树袋熊

作者: smilegator | 来源:发表于2019-06-21 00:16 被阅读0次

熊猫被Spark后就成了树袋熊
客户在使用Spark Thrift Server 报错：coul
成功等于梦想加自信
长隆动物园游记
红兔兔眼中的爸爸（九）
毕业后就成了你
懒小姐和熊猫先生的日常（1）
“认识自己”才能练就盖世武功
关于熊猫发电，除了可爱萌，还有什么？
长大后，我就成了你，你就成了我

夜深了，，，顺着昨夜的结尾，今夜讲讲API。Spark的APIs就是用户和Spark交流的语言。最初，Spark的语言是RDD APIs，用户告诉Spark怎么做；后来，Spark引入了全新的declarative APIs（包括了DataFrame APIs 和SQL），用户告诉Spark要什么，Spark用优化器来制订最佳的方案来确定怎么做。。。于是乎，简洁的DataFrame APIs 和SQL成了Spark最流行的语言，而大家渐渐忘却了RDD APIs。。。API的重要性不言而谕！

在这次的Spark+AI Summit，我们尝试引入新的一套的APIs，就是pandas APIs。pandas做为数据科学家最喜欢的分析library，这几年大受欢迎。很可惜，pandas的实现只是单机版，无法对大数据进行分析和操作。数据科学家实际上是Spark的一个主要使用群体。为了让这些pandas的用户无需重新适应和学习Spark的语言。我们把熊猫 [pandas]给Spark了，于是乎成了同样呆萌的国宝，树袋熊[Koalas]！

树袋熊 https://github.com/databricks/koalas

官方blog https://databricks.com/blog/2019/04/24/koalas-easy-transition-from-pandas-to-apache-spark.html

这个library树袋熊的名字起源？参与的人其实比较多，第一作者是Tim Hunter ，Matei，Reynold，Jules，Greg和我参与了讨论。名字的原则是要和熊猫一样可爱，并且是两个音节的。。。于是乎，就成了koalas！