Hadoop3.0的趋势是什么?

理由
举报 取消

是否会把hdfs完全分离出来?有什么架构方面的调整?有什么值得期待的新功能?

2017年9月24日 4 条回复 809 次浏览

发起人:AllOnYarn 初入职场

分布式、算法、数据结构、数据分析、数据挖掘。

回复 ( 4 )

  1. Magic
    理由
    举报 取消

    Roadmap – Hadoop Wiki

    Hadoop 3.x Releases

    hadoop-3.0

    HADOOP Move to JDK8+

    Classpath isolation on by default HADOOP-11656

    Shell script rewrite HADOOP-9902

    Move default ports out of ephemeral range HDFS-9427

    HDFS Removal of hftp in favor of webhdfs HDFS-5570

    Support for more than two standby NameNodes HDFS-6440

    Support for Erasure Codes in HDFS HDFS-7285

    YARN

    MAPREDUCE Derive heap size or mapreduce.*.memory.mb automatically MAPREDUCE-5785

  2. 星空守望者
    理由
    举报 取消

    呼之欲出!比Spark快10倍的Hadoop3.0有哪些实用新特性?

  3. 申仕杰
    理由
    举报 取消

    Java最低版本要求java8,使用java7或者更低版本的需要升级到8。

    HDFS支持纠编码erasure encoding,简称EC技术。EC技术可以防止数据丢失,又可以解决HDFS存储空间翻倍的问题。劣势是:

    一旦数据需要恢复,会带来网络消耗,因为不仅要读取原数据块,还要读取校验块。

    存储文件,或者恢复文件需要编码解码,会有CPU消耗。

    建议EC存储用于冷数据,由于冷数据确实数量大,可以减少副本从而降低存储空间,另外冷数据稳定,一旦需要恢复数据,对业务不会有太大影响。

    Hadoop common的变化

    精简了内核,剔除了过期的API和实现,废弃hftp转由webhdfs替代。

    Classpath isolation防止不同版本jar包冲突,例如google guava在混合使用hadoop、hbase、spark时出现冲突。mapreduce有参数控制忽略hadoop环境中的jar,而使用用户提交的第三方jar,但提交spark任务却不能解决此问题,需要在自己的jar包中重写需要的第三方类或者整个spark环境升级。classpath isolation用户可以很方便的选择自己需要的第三方依赖包。参见HADOOP-11656

    hadoop shell脚本重构,修复了大量bug,增加了新特性,支持动态命令。参见HADOOP-9902

    Hadoop namenode支持一个active,多个standby的部署方式。在hadoop-2.x中resourcemanager已经支持这个特性。

    Mapreduce task-level native优化,mapreduce增加了map output collector的native实现,对于shuffle密集型任务,可以提高30%的执行效率。参见MAPREDUCE-2841

    内存参数自动推断。在Hadoop 2.0中,为MapReduce作业设置内存参数非常繁琐,涉及到两个参数:mapreduce.{map,reduce}.memory.mb和 mapreduce.{map,reduce}.java.opts,一旦设置不合理,则会使得内存资源浪费严重,比如将前者设置为4096MB,但后者却是“-Xmx2g”,则剩余2g实际上无法让java heap使用到。参见HADOOP-10950,MAPREDUCE-5785

    Hadoop Yarn,cgroup增加了内存和io disk的隔离,timeline service v2,YARN container resizing等等。

    可以参看大数据教程:

  4. 张德林
    理由
    举报 取消

    就我了解的一些重要改变说下。

    1.mr采用基于内存的计算,提升性能。

    2.hdfs 通过最近black块计算,加快数据获取速度。

    3.基于jdk1.8。

    4.支持多NameNode。

    5.引入EC纠删码技术。

我来回答

Captcha 点击图片更换验证码