hbase存储图片是直接存在hbase里面好还是存在hdfs里面用sequencefile好? ? 举报 理由 举报 取消 图片每张大概600KB,一共有1tb左右,现在用hbase存储,直接塞进列里面还是用sequencefile存到hdfs里面.图片一般都是成组的读和写,很少随机读写。但是每次要读出的图片数量较多,因为要在这一组图片上做图像分析算法实验。 2017年6月13日 2 条回复 1205 次浏览 HBase,储存,数据,海量
回复 ( 2 )
1T
哪怕存数在HBase里面 最后也都是flush成HFile也是存在HDFS
按照结果来看 似乎都一样
然而看了下读取需求 没有random read的需求 目测都是batch sequence read
这样的话HBase会有优势 因为StoreFile有对HFile作index
所以通过HBase读应该会由于从HDFS上读
又是这种海量小文件的场景 目测如果直接存HDFS存的话 namenode的ram也吃不消
综上 建议用HBase
谢邀
泻药
读写方式最终决定了采用哪种方案,我建议放到hbase里,具体的解释,有时间了补充。