学习Hadoop scala spark等对从事安全工作用处大么？ 举报 理由 举报 取消 准备参加一个比赛，做一个关于大数据分析相关主题的软件，可能要学Hadoop scala spark相关的等，但也只有一年多的时间来接触，我以后欲从事的是安全工作，学这些对我以后工作有用否？靠后的985学校，信息安全专业目前大三，准备毕业就工作， 2017年11月23日 9 条回复 1691 次浏览 Hadoop,Scala,信息安全,数据,网络安全
回复 ( 9 )
信息安全也要做大数据啊。
目前看预防发现apt攻击最有效的方式可能就是大数据…
大
只了解hadoop. 你可以了解一下大规模集群如何做认证(Kerberos)， 授权(delegation token, LDAP)， 数据加解密(encryption zone), 传输加解密。
分布式是一个概念，一个理论。任何需要大数据处理的领域都可以应用分布式，而Hadoop、spark等是分布式计算框架，只要需要应用到分布式处理的系统，都可以使用它们。
现在互联网上这么多信息，安全领域也早就进入了大数据阶段了，身份认证，授权，数据加密传输，数据解密等等，这些信息安全领域常见的处理模块对于拥有大数据量的公司来说，必然是用大规模集群分布式来处理了，所以这些分布式框架对你从事信息安全领域肯定是有帮助的。
Hadoop是典型的离线处理数据的分布式计算框架，中间数据存于磁盘，适用于大数据量且对实时性要求不是很高的业务；spark则是基于流式计算的分布式框架，在内存中完成数据处理，对信息安全领域的用户认证和授权等实时性要求高的处理可以很好地满足。
所以总结起来，学了不一定马上会用到，但学了这些不论是对工作的需求或者是个人的发展都有很大的帮助。
我还想学下AI这方面的东西，拐回来搞安全呢。。你这肯定比我挨着的多，加油！
大
安全工作方向也很广的啊，一定会用到的
利益相关：信安工作，同组后端就做这个
Hadoop是一个典型的分布式系统，而大型的身份验证系统必然也是一个分布式系统，这两个相通点非常大呀，Spark是一个流式计算系统，用户安全行为实时分析和统计必然也是流式的计算系统，我觉得吧，学了好处可能不直接，但肯定没坏处。