我在执行wiki教程中 pentaho mr，配置和教程相同，但是执行后一直报权限问题，求教这是pentaho权限，还是集群权限问题，我该如何操作，谢谢

如图，这是网上一张讲解shuffle的经典图，不过我感觉这个图有点问题。spark中的task分为两类，一类是shuffleMapTask，另一类是resultTask。shuffle的过程应该是在shuffleMapTask之间，或者shuffleMapTask和resultTask之间。也就是说，图中的map task应该对应的是以shuffle write为结尾的某个task过程，reduce task对应的是以shuffle read为开头的task过程。（不知道理解是否正确） 针对spark，我有一下几个问题，还请大牛帮答疑： 1）我记得hadoop mapreduce中的map和reduce个数是可以设定的。在spark […]

最近在测试这个安装OpenStack，测试大数据1,乌班图在安装时候会自动连接网络下载，降低速度，断网络安装速度能加速吗？2 如果我把硬盘的hadoop安装过去是通过U盘拷贝还是在WIn里面安装PHP网站和虚拟机交换数据最迅速，还是有其他方法，虚拟机的WIn可以把硬盘设置为共享直接拷贝，LINUX如何做不清楚

先说一下基本情况吧，我是名牌大学本科毕业，但是毕业之后并没有从事本专业的工作，而是做了系统运维工程师。虽然是在一家大公司，但是却在一个可有可无的部门，基本什么东西都没有学到，如今已经过去将近两年了。在职期间一直利用业余时间在学习大数据相关技术，对Hadoop，MapReduce和Hive都有了比较深入的了解，也仔细地阅读过部分源代码，对RPC框架，序列化机制等等都作了深入的探索。也写过很多MR算法和Hive UDFs。最近想从公司离职去追求自己的梦想–大数据相关工作，但是从简历反馈和面试情况来说都不太乐观，各家公司都对相关经验及其看重，让我有些迷茫了。我想问，有没有什么好的途径或者办法可以让我迅速积累相关经验？我想到的是 […]

我2013年1月也就是25岁那年开始从事java编程工作 截止到发帖时间 我的月薪是税前一万一 在北京 大家别鄙视我 我混的很次 我总结了一下 原因如下1.我的第一份工作选择不好 是一家传统国企 不好好做项目 整天维护1999年开发的老项目 而且我还被勒令去做压力测试 服务器安装 工业计算机拼装等非开发工作 而且我在那里呆了一年半 太长了2.我的第二份工作选择的也很草率 是一家做体制内项目的私企 公司不好好做新项目 整天就是维护一个已经瘫痪的2013年开发的项目 维护了 而且我维护了一年半 这个也太长了3.我第三份工作也就是目前这工作 虽然是新项目也是我全权负责设计开发 但项目规模不大比较简单 而且数据库表都是10年前设计好的我还不 […]

请教一下，对于Hadoop运维人员，在coding能力方面假设他不太会写高级语言程序，只会写shell脚本，但对运维的技能掌握得还算可以，在这种情况下，未来如果想往更高级别的岗位上发展，有哪些可行的发展方向呢？谢谢！

大数据的概念太泛了，我想提一个这样的问题，让知乎里面的同志们出来谈谈他们的看法。