如何将hdfs里某一目录下的所有文件的文件名读取出来?
已知在hdfs某目录下(如hdfs://tmp/englishnovels)有上百部英文小说(txt后缀),想把小说的名字都读取出来,实现遍历。请赐教!
查看全文spark streaming 适合处理规模不大的流式数据吗?
我有个疑惑,spark网上说法是用于大数据量处理(可以很轻易的做水平拓展),我感觉用 spark 的框架开发其实也有一定的范式上的简易性。 那么如果说业务开始数据量不是很大的流式任务(或者其他业务)用 spark 合适吗?(有没有杀鸡用牛刀这种问题,造成资源浪费?)
查看全文大数据平台开发人员的核心竞争力是什么?
做大数据平台开发一般对算法要求不高,但是这些大的框架,每一个都像大的黑盒子,如:spark、hadoop、hive、kafka。我最近在研究kafka,但是仅仅是在会用,会选型的阶段。我觉得只要英语ok,完全没什么门槛。想问的问题是:如果想在这个方向上走得更远,应该怎么做,我觉得把源码都撸一遍好像非常不现实,刚入行半年,我scala也不熟悉,有点迷茫,想问问3-5年的从业人员你们怎么做的?
查看全文MySQL专家需要懂Hadoop和openstack吗?
如题,请教一下大家,高级MySQL DBA如果想往更高级、更广的级别上发展,是否需要涉猎一下Hadoop和openstack等技术?目前MySQL与这些技术的大不大?谢谢!
查看全文求教,数据分析和大数据到底有什么不同啊,最近想自学,有什么好的培训班推荐吗?
就业薪资哪个好些,难易程度呢,多谢了(顺便,学习大数据一定用HADOOP吗)
查看全文如何利用大数据帮助招聘?
互联网时代,每个人都在网络上留下了大量的数据,其中包含着他的生活轨迹、社交言行等个人信息,那么能否依靠对这些数据的分析,从个人的网上行为中剥离出他的兴趣图谱、性格画像、能力评估,帮助企业更高效的实现人岗匹配呢?用户特征的分析,实现人岗匹配欢迎大家提方案
查看全文想从事大数据方面的相关工作。请问是否有比较有用的大数据方面的认证?
想从事大数据方面的工作。想请教各位是否有大数据方面的认证。一方面是想通过认证去逼自己去学习大数据方面知识,另一方面也是想增加自己的竞争力。多谢
查看全文