KipDB 轻量级键值存储引擎

整体せいたい设计参考さんこうLevelDB，旨むね在ざい作さく为NewSQL分布ぶんぷ式しき数すう据すえ库的存そん储引擎

• 支持しじ嵌入かんにゅう式しき/单机存そん储/远程调用等とう多た应用场景
• 以Kiss作さく为开发理念りねん，设计以简单而高だか效こう为主
• 实现MVCC以支持しじACID
• 高性能こうせいのう，BenchMark写うつし入にゅう吞吐量りょう约为Sled的てき两倍，且大数すう据すえ量りょう下か的てき顺序读取平均へいきん延のべ迟为1μみゅーs左右さゆう
• 远程连接使用しようProtoBuf实现，支持しじ多た语言通信つうしん
• 极小的てき内ない存そん占うらない用よう(待まち机つくえ/大量たいりょう冷ひや数すう据すえ)
• 并发安全あんぜん，读读、读写并行

组件原理げんりWiki : https://github.com/KKould/KipDB/wiki

Tips: 使用しようRPC时请确保 Protocol Buffer Compiler 已やめ安あん装そう。

kip_db = "0.1.2-alpha.15 "

# 代だい码编译
cargo build

# 代だい码编译(正式せいしき环境)
cargo build --release

# 单元测试
cargo test

# 性能せいのう基もと准じゅん测试
cargo bench

# 编译镜像
docker build -t kould/kip-db:v1 .

# 运行镜像
docker run kould/kip-db:v1

/// 指定してい文ぶん件けん夹以开启一いち个KvStore
let kip_db = LsmStore::open("/welcome/kip_db").await?;

// 插入そうにゅう数すう据すえ
kip_db.set(&b"https://github.com/KKould/KipDB", Bytes::from(&b"your star plz"[..])).await?;
// 获取数すう据すえ
let six_pence = kip_db.get(&b"my deposit").await?;
// 已やめ占有せんゆう硬かた盘大小しょう
let just_lot = kip_db.size_of_disk().await?
// 已やめ有数ゆうすう据すえ数量すうりょう
let how_many_times_you_inserted = kip_db.len().await?;
// 删除数すう据すえ
kip_db.remove(&b"ex girlfriend").await?;

// 创建事ごと务
let mut transaction = kip_db.new_transaction().await?;
// 插入そうにゅう数すう据すえ至いたり事ごと务中
transaction.set(&b"this moment", Bytes::from(&b"hope u like it"[..]));
// 删除该事务中key对应的てきvalue
transaction.remove(&b"trouble")?;
// 获取此事务中key对应的てきvalue
let ping_cap = transaction.get(&b"dream job")?;
// 提つつみ交事务
transaction.commit().await?;

// 创建持久じきゅう化か数すう据すえ迭代器き
let guard = kip_db.iter().await?;
let mut iterator = guard.iter()?;

// 获取下か一いち个元素げんそ
let hello = iterator.next_err()?;
// 移うつり动至第だい一いち个元素げんそ
let world = iterator.seek(Seek::Last)?;

// 强制きょうせい数すう据すえ刷ず入にゅう硬かた盘
kip_db.flush().await?;

/// 服ふく务端启动！
let listener = TcpListener::bind("127.0.0.1:8080").await?;

kip_db::net::server::run(listener, tokio::signal::ctrl_c()).await;

/// 客きゃく户端调用！
let mut client = Client::connect("127.0.0.1:8080").await?;

// 插入そうにゅう数すう据すえ
client.set(&vec![b'k'], vec![b'v']).await?
// 获取数すう据すえ
client.get(&vec![b'k']).await?
// 已やめ占有せんゆう硬かた盘大小しょう
client.size_of_disk().await?
// 存そん入にゅう指令しれい数すう
client.len().await?
// 数かず据すえ刷ず入にゅう硬かた盘
client.flush().await?
// 删除数すう据すえ
client.remove(&vec![b'k']).await?;
// 批量指令しれい执行(可か选 并行/同どう步ふ 执行)
let vec_batch_cmd = vec![CommandData::get(b"k1".to_vec()), CommandData::get(b"k2".to_vec())];
client.batch(vec_batch_cmd, true).await?

• LsmStore: LSM存そん储，使用しようLeveled Compaction策略さくりゃく(默だま认内核かく)
• HashStore: 类Bitcask
• SledStore: 基もと于Sled数すう据すえ库进行ぎょう封ふう装そう

PS D:\Workspace\kould\KipDB\target\release> ./server -h
KipDB-Server 0.1.0
Kould <2435992353@qq.com>
A KV-Store server

USAGE:
server.exe [OPTIONS]

OPTIONS:
-h, --help           Print help information
--ip <IP>
--port <PORT>
-V, --version        Print version information

PS D:\Workspace\kould\KipDB\target\release> ./server   
2022-10-13T06:50:06.528875Z  INFO kip_db::kernel::lsm::ss_table: [SsTable: 6985961041465315323][restore_from_file][TableMetaInfo]: MetaInfo { level: 0, version: 0, data_len: 118, index_len: 97, part_size: 64, crc_code: 43553795 }, Size of Disk: 263
2022-10-13T06:50:06.529614Z  INFO kip_db::net::server: [Listener][Inbound Connections]
2022-10-13T06:50:13.437586Z  INFO kip_db::net::server: [Listener][Shutting Down]

PS D:\Workspace\kould\KipDB\target\release> ./cli --help
KipDB-Cli 0.1.0
Kould <2435992353@qq.com>
Issue KipDB Commands

USAGE:
    cli.exe [OPTIONS] <SUBCOMMAND>

OPTIONS:
    -h, --help                   Print help information
        --hostname <hostname>    [default: 127.0.0.1]
        --port <PORT>            [default: 6333]
    -V, --version                Print version information

SUBCOMMANDS:
    batch-get
    batch-remove
    batch-set
    flush
    get
    help                     Print this message or the help of the given subcommand(s)
    len
    remove
    set
    size-of-disk
    
PS D:\Workspace\kould\KipDB\target\release> ./cli batch-set kould kipdb welcome !
2022-09-27T09:50:11.768931Z  INFO cli: ["Done!", "Done!"]

PS D:\Workspace\kould\KipDB\target\release> ./cli batch-get kould kipdb          
2022-09-27T09:50:32.753919Z  INFO cli: ["welcome", "!"]

• Major Compation
  • 多た级递增ぞう循环压缩 ✅
  • SSTable压缩状じょう态互斥
    • 避免并行压缩时数据すえ范围重じゅう复 ✅
• KVStore
  • 参考さんこうSled增加ぞうかapi
    • size_of_disk ✅
    • clear
    • contains_key
    • iter ✅
    • len ✅
    • is_empty ✅
    • ...
  • 多た进程锁 ✅
    • 防止ぼうし多た进程对文件けん进行读写造成ぞうせい数すう据すえ异常
• SSTable
  • 布ぬの隆たかし过滤器き ✅
    • 加か快かい获取键值的てき速度そくど
  • MetaBlock ✅
    • 用よう于存储统计数据すえ布ぬの隆たかし过滤器き的てき存そん放ひ
• Block
  • DataBlock、IndexBlock复用实现并共享とおる缓存 ✅
  • 实现前ぜん缀压缩并使用しようvarint编码以及LZ4减小空そら间占用よう ✅
  • 基もと于前缀进行ぎょう二に分ふん查询 ✅
• Cache
  • TableCache: SSTableLoader懒加载 ✅
  • BlockCache: 稀まれ疏索引数ひきすう据すえ块缓存そん ✅
  • 类LevelDB的てき并行LruCache: ShardingLruCache ✅
• Iterator 迭代器き
  • BlockIterator ✅
  • SSTableIterator ✅
  • LevelIterator ✅
  • VersionIterator ✅
• WAL 防ぼう灾日志こころざし
  • 落盘时异常つね后きさき重じゅう启数据すえ回かい复 ✅
  • 读取数すう据すえ不ふ存在そんざい时尝试读取 ✅
• MVCC单机事ごと务 ✅
  • Manifest多た版本はんぽん持久じきゅう化か ✅
  • SSTable多た版本はんぽん持久じきゅう化か ✅
• 网络通信つうしん
  • 使用しようProtoBuf进行多た语言序列じょれつ化か ✅
  • Ruby of KipDB
  • Java of KipDB
  • Rust of KipDB ✅
• 分布ぶんぷ式しき
  • 使用しようRaft复制协议保持ほじ状じょう态一致いっち

• 为了方便ほうべん性能せいのう调优等とう监测，提供ていきょう了りょう两个Dockerfile作さく为支持しじ
  • Dockerfile: KipDB的てきServer与あずかCli
  • Dockerfile-perf: 外部がいぶPerf监测

1. 打だ包つつみKipDB本体ほんたい镜像docker build -t kould/kip-db:v1 .
2. 打だ包つつみPerf监测镜像docker build -f Dockerfile-perf -t kould/perf:v1 .
3. 以任意にんい形式けいしき执行kould/kip
   • 例れい: docker run kould/kip-db:v1
4. 执行attach-win.sh <kip-db容器ようきID>
   • 例れい: ./attach-win.sh 263ad21cc56169ebec79bbf614c6986a78ec89a6e0bdad5e364571d28bee2bfc
5. 在ざい该bash内ない输入. record.sh <kip-db的てきserver进程pid>
   • 若わか不ふ清楚せいそ进程id是ぜ多少たしょう可か以直接ちょくせつ输入ps，通常つうじょう为1
   • 注意ちゅうい!： 不要ふよう关闭bash，否いや则会监听失しつ败！
6. 随ずい后きさき去さ对KipDB进行对应需要じゅよう监测的てき操作そうさ
7. 操作そうさ完かん毕后回かい到いた步ふ骤5的てきbash内ない，以ctrl + c终止监听，得とく到いたperf.data
8. 继续在ざい该bash内ない输入. plot.sh <图片名めい.svg>, 即そく可か生成せいせい火ひ焰图
   • 导出图片一般いっぱん可か使用しよう docker cp 和わ docker exec 或ある挂载 volume，为方便びん预览和わ复制文ぶん件けん，容器ようき内ない置おけ了りょう轻量网页服ふく务，执行 thttpd -p <端はし口こう号ごう> 即そく可か。由よし于脚本中ほんなか没ぼつ有ゆう设置端はし口こう转发，需要じゅよう docker inspect <目め标容器きID> | grep IPAdress 查看目め标容器き的てき IP，然しか后きさき在ざい浏览器き中ちゅう访问即そく可か。若わか需要じゅよう更さら灵活的てき操作そうさ，可か不用ふよう以上いじょう脚本きゃくほん手しゅ动添加てんか参さん数すう运行容器ようき。

参考さんこう自じ：https://chinggg.github.io/post/docker-perf/