怎样做到从mysql 到 Hbase 或Hive的数据实时同步?

理由
举报 取消

本人要对旧系统产生的数据进行分析,旧系统使用的是mysql数据库,由于数据量比较大,想把它导入到hbase中来进行分析(包括全量跟增量),这种分析的实时性要求比较高.Sqoop的实时性不太好,而且增量更新要求source table要有dataTIme的column才行。有谁知道有没其它更好的方案。

2017年5月12日 4 条回复 1390 次浏览

回复 ( 4 )

  1. 杨德华
    理由
    举报 取消

    实时同步的方式,目前来说用MySQL Binlog的比较多

    国内的开源方案有

    阿里巴巴开源方案 canal

    国外的也很多

    楼主可以去github上面搜索下 binlog 就知道N多方案了

  2. liuzhiqiang
    理由
    举报 取消

    用我的软件,MySQL-Binlog,开源中国上搜索即可

  3. jhh
    理由
    举报 取消

    想问下原来数据库中的数据会不会有更新和删除,如果有的话,想实时同步到hive中很难。

    另外即使能实时同步到hive中,hive中分析查询也速度也比较慢的。

  4. 沈颖
    理由
    举报 取消

    我们使用canal+kafka开发了一套同步系统,非常好用,绝对实时,感兴趣可以交流一下。

我来回答

Captcha 点击图片更换验证码