hbase存储图片是直接存在hbase里面好还是存在hdfs里面用sequencefile好? ?

理由
举报 取消

图片每张大概600KB,一共有1tb左右,现在用hbase存储,直接塞进列里面还是用sequencefile存到hdfs里面.图片一般都是成组的读和写,很少随机读写。但是每次要读出的图片数量较多,因为要在这一组图片上做图像分析算法实验。

2017年6月13日 2 条回复 1228 次浏览

发起人:者也 初入职场

农民

回复 ( 2 )

  1. Reid Chan
    理由
    举报 取消

    1T

    哪怕存数在HBase里面 最后也都是flush成HFile也是存在HDFS

    按照结果来看 似乎都一样

    然而看了下读取需求 没有random read的需求 目测都是batch sequence read

    这样的话HBase会有优势 因为StoreFile有对HFile作index

    所以通过HBase读应该会由于从HDFS上读

    又是这种海量小文件的场景 目测如果直接存HDFS存的话 namenode的ram也吃不消

    综上 建议用HBase

    谢邀

  2. 查理船长
    理由
    举报 取消

    泻药

    读写方式最终决定了采用哪种方案,我建议放到hbase里,具体的解释,有时间了补充。

我来回答

Captcha 点击图片更换验证码