Hadoop3.0的趋势是什么？ 举报 理由 举报 取消 是否会把hdfs完全分离出来？有什么架构方面的调整？有什么值得期待的新功能？ 2017年9月24日 4 条回复 782 次浏览 Hadoop,Spark,数据
回复 ( 4 )
Roadmap – Hadoop Wiki
Hadoop 3.x Releases
hadoop-3.0
HADOOP Move to JDK8+
Classpath isolation on by default HADOOP-11656
Shell script rewrite HADOOP-9902
Move default ports out of ephemeral range HDFS-9427
HDFS Removal of hftp in favor of webhdfs HDFS-5570
Support for more than two standby NameNodes HDFS-6440
Support for Erasure Codes in HDFS HDFS-7285
YARN
MAPREDUCE Derive heap size or mapreduce.*.memory.mb automatically MAPREDUCE-5785
呼之欲出!比Spark快10倍的Hadoop3.0有哪些实用新特性?
Java最低版本要求java8，使用java7或者更低版本的需要升级到8。
HDFS支持纠编码erasure encoding，简称EC技术。EC技术可以防止数据丢失，又可以解决HDFS存储空间翻倍的问题。劣势是：
一旦数据需要恢复，会带来网络消耗，因为不仅要读取原数据块，还要读取校验块。
存储文件，或者恢复文件需要编码解码，会有CPU消耗。
建议EC存储用于冷数据，由于冷数据确实数量大，可以减少副本从而降低存储空间，另外冷数据稳定，一旦需要恢复数据，对业务不会有太大影响。
Hadoop common的变化
精简了内核，剔除了过期的API和实现，废弃hftp转由webhdfs替代。
Classpath isolation防止不同版本jar包冲突，例如google guava在混合使用hadoop、hbase、spark时出现冲突。mapreduce有参数控制忽略hadoop环境中的jar，而使用用户提交的第三方jar，但提交spark任务却不能解决此问题，需要在自己的jar包中重写需要的第三方类或者整个spark环境升级。classpath isolation用户可以很方便的选择自己需要的第三方依赖包。参见HADOOP-11656
hadoop shell脚本重构，修复了大量bug，增加了新特性，支持动态命令。参见HADOOP-9902
Hadoop namenode支持一个active，多个standby的部署方式。在hadoop-2.x中resourcemanager已经支持这个特性。
Mapreduce task-level native优化，mapreduce增加了map output collector的native实现，对于shuffle密集型任务，可以提高30%的执行效率。参见MAPREDUCE-2841
内存参数自动推断。在Hadoop 2.0中，为MapReduce作业设置内存参数非常繁琐，涉及到两个参数：mapreduce.{map,reduce}.memory.mb和 mapreduce.{map,reduce}.java.opts，一旦设置不合理，则会使得内存资源浪费严重，比如将前者设置为4096MB，但后者却是“-Xmx2g”，则剩余2g实际上无法让java heap使用到。参见HADOOP-10950,MAPREDUCE-5785
Hadoop Yarn,cgroup增加了内存和io disk的隔离，timeline service v2,YARN container resizing等等。
可以参看大数据教程：
就我了解的一些重要改变说下。
1.mr采用基于内存的计算，提升性能。
2.hdfs 通过最近black块计算，加快数据获取速度。
3.基于jdk1.8。
4.支持多NameNode。
5.引入EC纠删码技术。