(Translated by https://www.hiragana.jp/)
GitHub - peiliping/meepo: 异构存储数据迁移
Skip to content
This repository has been archived by the owner on May 29, 2020. It is now read-only.

peiliping/meepo

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Meepo一个轻量级的数据迁移工具,主要しゅよう针对Mysql、ParquetFile间的すうすえ交换场景。

当然とうぜん也定せいりょういち些扩てん如Redis、ElasticSearchとう

Meepo主要しゅようようらいかい决如几个问题:

1、Mysqlひょうてきどうもち续读げんひょうてきしんぞうすうすえうつしいれ一个定制化的新表,ゆう一些简单的数据加工。

这个需求也有やゆう很多公司こうしもと于otter、cannalらい做的,meepodatax原理げんり于JDBC。

2、快速かいそく复制いち张Mysqlひょう,以最かいてき速度そくど完成かんせい一个镜像的拷贝,适当しゃれつ主要しゅようよう于测试需もとめ

为了かい速写そくしゃにゅうMysql,Meepo还是做了很多细致てき性能せいのう优化工作こうさくてき基本きほんじょう以满あし绝大多数たすう需求りょう

3、はたざい线库てきすうすえ生成せいせいParquet,并写いれいたHDFSじょうあるもの生成せいせいほん地文ちぶんけん方便ほうべんすうすえてき传递。

跟SqoopこうのうただしSqoopもと于YarnてきMRふとしこうひかえせい,而且依赖有些重。

4、两张Mysqlひょうてき对,目前もくぜんただのう针对ぬし键ID,进行异比较,找到丢失てきすうすえくだり

主要しゅようもと于Bitmap,ざい有限ゆうげんてきないそんそら间里,快速かいそく对数すえ异。

5、もと于Pluginてきじょうせい开发,Meepoだま提供ていきょうりょういち些Plugin,也允许plugin组合使用しようてい义。

だま提供ていきょうてき插件のう动处だん类型てき异,のう完成かんせい简单てきJoin计算。