怎样做到从mysql 到 Hbase 或Hive的数据实时同步? 举报 理由 举报 取消 本人要对旧系统产生的数据进行分析,旧系统使用的是mysql数据库,由于数据量比较大,想把它导入到hbase中来进行分析(包括全量跟增量),这种分析的实时性要求比较高.Sqoop的实时性不太好,而且增量更新要求source table要有dataTIme的column才行。有谁知道有没其它更好的方案。 2017年5月12日 4 条回复 1390 次浏览 HBase,Hive,MySQL,数据
回复 ( 4 )
实时同步的方式,目前来说用MySQL Binlog的比较多
国内的开源方案有
阿里巴巴开源方案 canal
国外的也很多
楼主可以去github上面搜索下 binlog 就知道N多方案了
用我的软件,MySQL-Binlog,开源中国上搜索即可
想问下原来数据库中的数据会不会有更新和删除,如果有的话,想实时同步到hive中很难。
另外即使能实时同步到hive中,hive中分析查询也速度也比较慢的。
我们使用canal+kafka开发了一套同步系统,非常好用,绝对实时,感兴趣可以交流一下。