本人最近在学大数据Hadoop,在虚拟机中配置了一个Hadoop的伪分布,在主机与虚拟机防火墙都关闭的情况(而且主机host也已修改,可以在windows下通过hdfs://网址:50070访问虚拟机的HDFS),遇到以下问题:1无法在eclipse中连接上虚拟机里的伪分布,读取hdfs目录中的文件错误,调试时发现hdfs.open(path)打不开对应路径。2在eclipse中创建hdfs的文件时会自动变为在d盘下创建文件。3用eclipse插件,DFS Location无法连上集群,提示eclipse luna 64位,hadoop1.2.1 ,虚拟机是CentOS6.7调试了两天了,不知道哪里出了问题,特来知乎求助:由于主机可 […]
查看全文Erasure Code编码大文件的问题?
分布式存储系统使用Erasure Code来容错的时候,对于大文件比如10GB,无法在单个节点上进行EC编码,那么怎么对10GB文件编码?分布式的方式?
查看全文