帐户注册

登录

找回密码

忘记密码了?输入你的注册邮箱,并点击重置,稍后,你将会收到一封密码重置邮件。

大数据技术中的Hadoop和Spark计算是否适合实现OLTP系统的业务数据分析?

大数据技术一般用来结合机器学习和图计算做数据挖掘和预测。想问问有没有将Spark、Hadoop等计算框架用到传统OLTP系统当中,提高运算速度的。OLTP系统中计算的特点:1. 计算逻辑非常复杂。涉及很多关联、筛选、聚合、分组等。2. 参与单次计算的数据量不会太大。几百M到几G。目前用Spark开发了几个功能做测试,发现效果并不理想。对这块比较迷茫。

查看全文

windows下的eclipse无法读取虚拟机中Hadoop的集群?

本人最近在学大数据Hadoop,在虚拟机中配置了一个Hadoop的伪分布,在主机与虚拟机防火墙都关闭的情况(而且主机host也已修改,可以在windows下通过hdfs://网址:50070访问虚拟机的HDFS),遇到以下问题:1无法在eclipse中连接上虚拟机里的伪分布,读取hdfs目录中的文件错误,调试时发现hdfs.open(path)打不开对应路径。2在eclipse中创建hdfs的文件时会自动变为在d盘下创建文件。3用eclipse插件,DFS Location无法连上集群,提示eclipse luna 64位,hadoop1.2.1 ,虚拟机是CentOS6.7调试了两天了,不知道哪里出了问题,特来知乎求助:由于主机可 […]

查看全文

学习Hadoop scala spark等对从事安全工作用处大么?

准备参加一个比赛,做一个关于大数据分析相关主题的软件,可能要学Hadoop scala spark相关的等,但也只有一年多的时间来接触,我以后欲从事的是安全工作,学这些对我以后工作有用否?靠后的985学校,信息安全专业目前大三,准备毕业就工作,

查看全文

为什么spark支持多种语言编程,而mapreduce只支持java?

为什么spark支持多种语言编程,而mapreduce只支持java?spark对python、scala、java的支持都很好,而mapreduce只支持java,mapreduce用streaming和pipe也可以支持多种语言,但是相比java有很多限制。这是为什么呢?spark可以对多语言支持的这么好,后边的原理是什么?微软都提供了C#的支持(Microsoft/SparkCLR · GitHub)

查看全文

eclipse新建项目指定hadoop源码后bin会丢失文件!怎么办?

eclipse新建项目指定hadoop源码后,bin文件夹中的文件会发生改变,从而少了satrt-all.sh等一些我需要用到的脚本,怎么办?这是我在eclipse中新建java项目指定hadoop源码前的hadoop的bin文件夹↑↑↑↑↑而这是我指定后,hadoop源码的bin文件夹。我已经在整个源码中搜索过我要的start-all.sh了,是没有的。而在指定前,也就是图一可以看到是有的!请问大家有遇过上诉问题吗!求解决方案!

查看全文

如何评价海绵大数据的Sponge系统?

号称 “不仅在性能上全面超越了美国Hadoop平台主导的第一代大数据操作系统,更是填补了我国大数据产业缺乏操作系统的空白,成为全球首个第二代大数据操作系统,这也意味着中国将从数据大国走向数据强国”,请相关专业人士分析一下。- 第二代大数据操作系统在中国首发上市– 海绵数据推出第二代大数据操作系统– 海绵大数据 Sponge

查看全文