现实中一直在用hbase spark elasticsearch，之前没用前看这些书，像看天书，我当时也勾勾画画做笔记了，但是依然不得其解，也正是用的多了，你有了体验 有了所谓的触摸感，书中讲到的知识，就可以联系到自己在实际操作中遇到的困惑，对原理上的内容也就更容易理解了，
上周因为要给同事培训git ，我也花了一段时间恶补，实际演练，发现我对git的认知也更丰满了，
说说 hbase ，以前 认知不熟练 ，一谈到列族 听得我都害怕，其实hbase 就可以当做建立在 hdfs上的一个分布式的redis，那他的列族就可以看做是redis的hash 对象结构，每一个rowkey 其实就是key 就是主键， version 则和elasticSearch及MongoDB 中的对应，在真实的hbase 的列式物理存储中，每一个列祖都有一个rowkey 索引句柄，等于一条记录有几个列族，rowkey就会被复制或者引用几次。
hbase 的get put batch scan delete incre 都可以和redis 一一对应，hbase 在与MapReduce 结合，主要还是outputformat，hbase 的一些异常的解决方法，hbase region 分区策略，hbase 的filter 种类，hbase 的batch ，hbase 的调优 ，hbase 配置，hbase 与spark 的结合，hbase 监控 hbase 的可视化 ，hbase 的phoinex 的sql 查询 ，hbase shell 的使用。hbase python java scala 编程，hbase在实际业务中的最佳时间，如何通过对rowkey 的设计克服 nosql 无法join，在没有事物支持下，和redis 的缓存搭配，hbase在解决高并发写入和查询。
spark
从spark的基本操作 到集群操作，对各种格式的问题件读入写入，与hdfs hive hbase neo4j elasticsearch 的配合，rdd 的创建 转换 执行 宽窄依赖，spark sql spark streaming 窗口滑动时间 ，spark graphx mllib dataset dataframe udf ，spark submit spark 在分区 持久化缓存 广播 计算 ，rdd 的key value pairrdd spark 在互联网企业的最佳实践，spark 的python scala api等等
elastsearch
索引 插入 python api scala api
网友评论