作者：dongmao zhang
链接：https://www.zhihu.com/question/43687427/answer/96306564
来源：知乎
分布式存储工程师显然要关注分布式和存储这两个方面
分布式：
Lamport大师的论文读过没？，什么是lamport锁？Paxos如果选举？
CAP原理到底怎么玩？一致性hash怎么搞？AmazonDynamoDB那篇著名的论文只是要读过．
分布式系统里面Member
ship怎么管理？什么是gossip protocol?
MapReduce好歹知道一下, google的MapReduce论文总得仔细读读，要不然连个word count都不会，都不好跟人打招呼．
分布式系统的历史和现状多了解？chord, kademlia, hadoop, corosync, ceph, cassandra,
伊利诺斯大学有个分布式在线课程最后会实现一个分布式的k-v数据库，课程里有lecture，也有作业还有TA帮助你们，给回答问题，强烈推荐
一点儿参考资料:
课程：
https://www.coursera.org/course/cloudcomputing
论文:
paxos
论文:http://research.microsoft.com/en-us/um/people/lamport/pubs/paxos-simple.pdf
dynamodb论文:
http://www.allthingsdistributed.com/files/amazon-dynamo-sosp2007.pdf
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.37.767&rep=rep1&type=pdf
kevinxhuang/awesome-distributed-systems: A curated list of awesome distributed
systems books, papers, resources and shiny things.
这个总结的也很好．
别忘了，还有存储
存储：
基本常用的数据结构总要熟悉吧，btree啊，skiplist，LSM啊
操作系统原理总要懂的一些的，什么是inode，什么是page cache, 什么是elevator算法，什么是superblock, bio, 什么是plug什么是unplug，这些要是不明白，maillist里面说什么都很难理解。推荐Understand Linux
Kernel那本书吧．
理解硬盘原理，知道硬盘有多慢，知道写不同的sector的时候不是原子的，理解transaction
介绍文件系统的书少，但是介绍数据库的书多，基本原理都差不多，都是btree, lsm,transcation，还有各种allocator的概念乱飞．
现在在单机用的存储,
ext2(这个代码简单，也没有journal), sqlite3, rocksdb
还特别推荐这篇文章How does a relational database
work - Coding Geek， 虽然是介绍数据库的，但是底层的原理都很像，建议一读。
又一点参考资料:
stanford的数据库原理课程：
CS 245 Database System Principles ::
Main
对应数据库的text book:
数据库系统实现 （英文版 第2版），这本书是影印版，也有翻译的，但还是推荐读原文，看懂还是不成问题的
一个德语的课程，不过slide都是英文的
https://www.informatik.hu-berlin.de/de/forschung/gebiete/wbi/teaching/archive/ws1213/vl_dbs2
sqlite的rollback mode的实现
sqlite
的WAL的实现
理解Linux内核
http://gauss.ececs.uc.edu/Courses/c4022/code/memory/understanding.pdf
语言
RocksDB C++
Ceph C++
Hadoop Java
Canssandra Java
Redis C
InfluxDB Golang
看你做什么项目了，这些主流语言总得会一样.
大规模的分布式系统总要部署运维自动化测试什么的，一些胶水语言不可少，
Bash, Python
能大大提高工作效率
需要大数据分析用户行为？需要大数据预测硬盘什么时候坏？我用的是Spark做数据分析，这时候还需要Python.
有时候需要写一个Proxy做流量清理，或者cache一些请求，减少存储集群本身的压力，那openresty是好帮手，所以你需要Lua. 或者Golang也是一个好选择．
网友评论