Key Value Pair

Scenario

• add
• update
• delete

Service

• add(Key, value)
• delete(Key)
• update(Key value)

实际 Value 是文件的地址

Storage

NOSQL + GFS

Master 存储10P 文件的metadata 需要多少容量?

1 chunk = 64MB needs 64B. (经验值)

10P=16*10^6 chunk needs 10 G

写入

如果要修改就是删除重写

找到master， 有master 分配chunkServer 来写入

读取

Scale

1 how to make sure disk work ------Check Sum

什么 时候写入checksum，当写入check的时候一起写入

可以用chunk server 数据库互相备份的方法来做数据的备份

如果master 失效，可以像Kafka一样维持一个sync list 来选master