存储模块
我们将存储模块分为内存存储和磁盘存储。借鉴Hbase和Cassandra的设计思想,我们先对操作写日志（CommitLog),然后将写入的数据先存储到内存中的某个结构中（Memtable),当满足一定的条件时（大小时间等限制）,将Memtable按照我们定义的格式写入SSTable.这里主要是借鉴Cassandra的存储结构,仍然以行为单位进行存储.Hbase的列存储,每一个单独的cell都存储了大量重复的字段,如果表的列设计过多,会浪费大量的存储.我们先做大量的接口设计
对于内存中的数据，我们需要先设计两个功能型接口，HeapSize和Snapshot。功能型接口，就是一看接口名就知道他的功能是什么，顾名思义，HeapSize就是获取当前对象占用内存，Snapshot就是获取一个快照，类似于深度克隆。
public interface HeapSize {
long heapSize();
}
public interface Snapshot<T> {
T snapshot();
}
列单元Colum设计
最底层存储单元,我们设计IColumn接口,方法暂定为获取ColumnName,ColumnValue,Timestamp,Type(插入,删除);
public interface IColumn extends Comparable<IColumn>{
byte[] getColumnName();
byte[] getColumnValue();
long getTimestamp();
Type getType();
enum Type {
Put((byte) 4),
Delete((byte) 8),
DeleteColumnFamily((byte) 12);
private final byte code;
Type(final byte c) {
this.code = c;
}
public byte getCode() {
return this.code;
}
}
}
Rowkey设计
至于Rowkey的设计，暂时还没有考虑完善，暂且定位一个获取key值的接口。
public interface Rowkey extends Comparable<Rowkey>{
byte[] getKey();
}
ColumFamily设计
ColumnFamily,代表一列数据,数据结构采用ConcurrentSkipListMap<String, IColumn>;
public interface IColumnFamily extends HeapSize{
void add(String key, IColumn column);
IColumn get(String key);
Map<String, IColumn> getFamily();
}
Memtable设计
每个表在内存中的数据用Memtable表示，简单表示就是Map<Rowkey, ColumnFamily>;
这里需要注意的一点是，Memtable在写磁盘的时候，真是写入的数据是Memtable的副本。读写要如何进行。这里我们的策略是写入到新的Mentable中，读取数据可以到Mentable中读取，但是不能修改。
达到一定条件，使用特定的线程池来写磁盘；
public class Memtable implements HeapSize, Snapshot<Memtable> {
private NavigableMap<Rowkey, IColumnFamily> memtable = new ConcurrentSkipListMap<>();
private volatile boolean flush;
private transient long heapSize;
private SSTableWirter<Memtable> ssTableWirter;
public Memtable(NavigableMap<Rowkey, IColumnFamily> memtable) {
this.memtable = memtable;
}
public void add(Rowkey rowKey, IColumn column){
if(flush) return;
IColumnFamily old = memtable.get(rowKey);
if(old == null) {
IColumnFamily newFamily = new ColumnFamily();
newFamily.add(new String(column.getColumnName()), column);
memtable.put(rowKey, newFamily);
}else {
old.add(new String(column.getColumnName()), column);
}
}
public long getHeapSize() {
return heapSize;
}
public IColumnFamily getFamily(Rowkey rowKey){
return memtable.get(rowKey);
}
public NavigableMap<Rowkey, IColumnFamily> getMemtable() {
return memtable;
}
/**
* if ready to flush to disk
* @return
*/
private boolean checkFlush() {
return heapSize > 111;
}
private void flushToDisk(){
Memtable snapshot = snapshot();
flush = true;
Constant.SERVICE.submit(new Runnable() {
@Override
public void run() {
ssTableWirter.write(snapshot);
}
});
}
@Override
public long heapSize() {
return heapSize;
}
@Override
public Memtable snapshot() {
NavigableMap<Rowkey, IColumnFamily> readOnly = new ConcurrentSkipListMap<>(memtable);
return new Memtable(readOnly);
}
}
磁盘存储SSTable
SSTable的读写，这里使用装饰模式。IFileReader和IFileWriter包装IFile,SSTableReader和SSTableWriter又包装IFileReader和IFileWriter。SSTable中保存相应的SSTableReader和索引,来快速完成数据读取
SSTable的写入与读取我们暂时只设计了接口，省去了具体的细节，比如文件的组织形式是B+Tree,而这样一整套内存和B+Tree的存储机制又称为LSM Tree。这些细节的代码，可以留着以后完成。并且上述所有的设计以及代码的细节都有很大的优化空间，不是可以一蹴而就的工作。
public class SSTable {
private IndexBlock indexBlock;
private SSTableReader<IColumnFamily> tableReader;
private volatile boolean isWritable;
private String getTableName(){
return null;
}
public IColumnFamily getFamily(Rowkey rowkey){
return null;
}
}
SSTableWriter
public interface SSTableWirter<T> {
void write(T t);
}
SSTableReader
public interface SSTableReader<T> {
T read(long start, long size);
}
网友评论