如果在公司里,这属于两个工种:算法工程师、Hadoop工程师。那么请描述这两个工作岗位的员工是怎么合作的?工作流程是怎样的?
查看全文怎样把一个mapreduce输出作为另外一个mapreduce的输入?
第一个mapreduce的输出都是在local,而mapreduce的输入需要在hdfs文件中。当然可以使用copyfromlocal,把local文件拷贝到hdfs文件,但是好麻烦,有简单的方法吗?
查看全文python和hadoop有什么联系?
我是做java的,我老板让我去学hadoop和python,这两种技术能在一起做项目么?hadoop是java开发的啊,按理来说java是无缝对接的,和python扯上什么关系?
查看全文被垃圾代码伤到是什么感觉?
我先说一个:二三十万行数据,共几十M的数据量,愣是用10来个hadoop任务(10多个文件)来实现,也是醉了~~~~~
查看全文没有集群环境,怎么学好大数据处理框架(Hadoop,Spark)的相关知识?
没有集群环境,怎么学好大数据处理框架(Hadoop,Spark)的相关知识?在已经有Java,scala等丰富经验的前提下。
查看全文hadoop,spark在虚拟机集群里跑还有性能上的优势吗?
如题,系统搭建在公司的虚拟机集群上,这样还有木有性能上的优势?或者说这样搭建分布式计算系统还有意义么?反正最终都是服务器的内存和硬盘,我感觉用多线程,多进程的老方法,直接在服务器上跑,省去那些集群间的调度和网络io,是不是会更快一些?小白不懂,求大侠相助
查看全文安装hadoop(例如CDH),像hdfs、zookeeper、spark等有没有必要独立到不同机器?
我用的cdh的发行版,服务器每台双U 96G 24TB。有没有必要每个服务都独立的分别部署在不同的机器上,还是可以叠加好一点?请给个分析?谢谢!
查看全文sql server、my sql、oracle与hadoop哪个才是未来趋势?到底有什么区别?
自学有一段时间了,除了听到别人说处理数据库的大小不同,就没看出来有什么具体的差别,感觉一直找不到方法,求高手帮忙解答下!
查看全文