如题所述，此问题一直很困惑另外 我现在在用sparkr 不知道有人在使用么 ，产生的数据格式是这样的可以将这转换成data 么 ， 如果可以 该怎么办，如果不行 为什么 ？

先问是不是，再问为什么，不要耍流氓！国内hadoop类似产品不止一个吧，估计还胜过现在的hadoop，现在hadoop可不是啥核心科技———————————-我是一名CS学生，我想听听对题目问题的看法。 我很好奇是哪些本质的东西决定了在美国搞出了这些东西，在中国就没有出现。我能想到的原因就是：我觉得国内的互联网环境更关心怎么赚钱怎么快速迭代产品，而对于技术创新投入不够。

谁能分享下spark的项目么 ？spark环境搭建要点？还有spark搭建好以后，再写代码时，是不是把集群看作一个整体，具体内部怎么调度的不需要我们考虑了？

就像临床医学一样，因为看过的病人多，所以水平高。 「我曾经一天看的病人比你一周看的病人还多。」——《北京遇上西雅图》 大数据方面的材料： 然后谈谈大数据问题，湾区那边不少startup动则spark, storm, horizontal sharding…然后一了解，你妹的十几万注册用户是常态，几十万注册（还不说day)就相当不错，上百万用户那就a轮明星。。。所以你可以看到这些big data/realtime处理都是用于log analysis,log嘛，搞出一天上T数据也是可能的，你真要拿来处理user data,那就是一个前同事说的：perfect for hello world….在湾区那帮人一天真实 […]

比如distinct()操作，为了shuffle还得先利用map将`<K>`变为`<K, null>`。这样设计是出于什么考虑……？抱歉没有描述清楚。我的意思是两种方式都提供，也就是对于非pair RDD来说直接对各条数据进行shuffle。因为我觉得比起把`<K>`转为`<K, null>`再进行shuffle，直接提供一个对于`<K>`的shuffle接口显得更“干净”一点…

对比Hadoop，spark好评如潮，作为一个没接触过大数据处理的初学者，还有必要学习Hadoop么。谢谢各位指教。

最近正在学习Strom和Spark Streaming,不知道哪里能提供有效的测试数据呢？就像图计算有wikipedia和dblp，流数据有哪些呢？

看网上是说先学习Hadoop，但是发现了spark，说是比Hadoop优秀，我很疑惑现在该怎么入手，Hadoop与spark又该学哪个？还是两个都学，先后顺序又是怎么样。希望各位能顺便推荐一些教学视频和中文书籍以及一些学习网站！谢谢了

现在装了1.2版本的，想升到1.5有没有什么命令之类的能实现吗？（ubuntu的单机版）

1.在Hive里设置hive.execution.engine=spark，然后在Hive CLI里执行查询Hive中的表。2.在Spark程序中通过hiveContext.sql()查询Hive中的表。这两种都是Hive on Spark吗？还是说有什么区别？