未来想成为一名大数据架构师,可是不知如何在hadoop spark Storm中纠结? 举报 理由 举报 取消 因为本人刚刚大学,而且是在自学大数据,就业方面也是在几年后,可是初学总是不知道如何学习,很多人说学习hadoop还有的说spark都学什么的,我也不太能理解大数据架构这个概念,因为还年轻希望能接触有挑战性的技术。 2017年10月21日 8 条回复 1244 次浏览 Apache,Hadoop,Spark,Storm,数据
回复 ( 8 )
现在火的 等你毕业就没那么火了
凡事看远点
架构师不是你会用几个系统软件就能当的
打好计算机基础吧
同学先学好C,JAVA和数据结构吧,多想无异。
架构师不是可以通过简单的学习就能达到的,忘掉这些大数据框架,找一份大数据相关的工作开始征途吧。
大数据架构中这些框架重要吗?当然重要,它们的出现简化了分布式计算的难度,提供了大量的大数据计算中所需的算法,让一个普通的工程师也能忘掉分布式,忘掉各种算法的最优实现直接来写自己的业务逻辑。但这些并不是一个大数据架构师需要了解的全部,开始工作后你会发现工程师们的痛点反而在如何获得干净完整的训练数据,如何有大量的标注集,如何快速进行参数调优……
作为架构师,不仅要了解流行的技术框架与思想,更要结合公司实际情况确定技术选型与架构,解决开发人员的痛点。我所在的公司 布尔财经 目前正在寻找 大数据 相关的技术人才,技术栈是 C#,如果感兴趣的话可以联系我。
布尔财经 是昊读数据基于十数年的 非结构化大数据&NLP数据、算法积累,基于主题投资及事件驱动的金融大数据模型研发的一款专业投资决策工具,是理性投资者研判市场、选股、择时、仓位控制的专业投资系统。
下载布尔财经APP,获取更多炒股工具
布尔财经官方网站
微信公众号搜索 “布尔财经” 关注,获取更多财经资讯。
请停止关注 Hadoop / Twitter Storm / 大数据 / Spark 话题,改关注下面几个:
机器学习 – 话题精华
统计学 – 话题精华
Bayes统计 – 话题精华
神经网络 – 话题精华
如果目标是架构师,不要停留于一些具体的技术,这些具体技术是基础~
更重要的是一些思维能力和个人素质、执行力的提升,以及快速学习了解一种新技术的学习能力,很多东西虽然概念多,本质的思想是有想通之处的~
另外,技术并不独立于业务之外,架构师不仅仅局限于技术的细节, 更要有协同、推动等各方面的综合素质。
回到问题上来,应该学哪个?我认为是都需要了解涉及的,要了解各种技术的适用场景极其瓶颈,架构并不是完美的,更多时候是基于当时的业务场景、现有资源、时间成本等多方面的平衡结果。另外不能仅仅局限于了解,而是有所实践和思考,这样才能真正发现其中的痛点,类似于设计模式,如果没有大量代码书写的经验,只看概念很难理解为什么这样做~
在架构选型时,如果你只懂一门技术,那还选什么呢?所以说,如果目标是架构师,都要有所了解。摊手
想成为大数据架构师,仅仅熟悉这几个开源框架还远远不够。你需要积累更多的知识和经验。慢慢来,你还有很长的时间可以学习
大学阶段还是打好基础,学好java、微机原理、数据结构等课程,还要学会用linux和python。
数学也非常重要,请学好高数线代概率论等。
搞大数据之前首先要保证自己是一个优秀的程序员,否则一切都是空谈。
可以看看《大数据架构商业之路:从业务需求到技术方案》一书,这本书通过介绍一个虚拟的互联网创业案例,逐步展开介绍各个阶段可能遇到的业务需求,以及相对应的技术方案,甚至是技术难度。
有读者评论:预订后等了2周,前天终于到货了,迫不及待的打开阅读,已经大致翻过一遍。很生动,技术的书一般容易枯燥,作者引入了大宝和晓明哥,从普通用户的视角展开,深入浅出,将大数据的使用场景和技术结合起来,实用价值很大,收获还是蛮多的,避免大家淹没在大数据的概念和新兴的技术堆里。特别对于现在互联网公司业务的技术选型,还是很有参考价值的,毕竟作者在几个公司已经实践过,相关的技术方案都是经过验证可行的,可以避免大家走一些弯路。
作者黄申,毕业于上海交通大学计算机科学与工程专业,师从俞勇教授。微软学者,IBM ExtremeBlue天才计划成员。长期专注于与大数据相关的搜索、推荐、广告以及用户精准化领域。曾在微软亚洲研究院、eBay中国、沃尔玛1号店和大润发飞牛网担任要职,带队完成了若干公司级的战略项目。同时著有20多篇国际论文和10多项国际专利,兼任《计算机工程》杂志特邀审稿专家。因其对业界的卓越贡献,2015年获得美国政府颁发的“美国杰出人才”称号。