帐户注册

登录

找回密码

忘记密码了?输入你的注册邮箱,并点击重置,稍后,你将会收到一封密码重置邮件。

工作两年了,为了转行去做实习生是否合适?

先说一下基本情况吧,我是名牌大学本科毕业,但是毕业之后并没有从事本专业的工作,而是做了系统运维工程师。虽然是在一家大公司,但是却在一个可有可无的部门,基本什么东西都没有学到,如今已经过去将近两年了。在职期间一直利用业余时间在学习大数据相关技术,对Hadoop,MapReduce和Hive都有了比较深入的了解,也仔细地阅读过部分源代码,对RPC框架,序列化机制等等都作了深入的探索。也写过很多MR算法和Hive UDFs。最近想从公司离职去追求自己的梦想–大数据相关工作,但是从简历反馈和面试情况来说都不太乐观,各家公司都对相关经验及其看重,让我有些迷茫了。我想问,有没有什么好的途径或者办法可以让我迅速积累相关经验?我想到的是 […]

查看全文

可以去哪儿找一些hadoop MR程序来练习?

本人最近在面试hadoop/hive开发相关的职位,由于没有写过实际的hadoop MR程序和hive开发,导致面试中碰壁较多。所以还想请教下大家,我可以去哪儿找一些题目/项目来练练手?或者大家有什么好的建议可以分享一下么?以下是个人情况:可以在集群上搭建hadoop环境,可以自主解决一些hadoop常见问题。(对hadoop和hive的基本原理是理解的)阅读和修改过hadoop的部分源码,写过wordcount和一些简单的MR程序。hive只是对基本操作熟悉一些。没有写过实际的hadoop MR程序,也没有hive实际开发经验欢迎大家不吝赐教。。

查看全文

什么是Hive on Spark?

1.在Hive里设置hive.execution.engine=spark,然后在Hive CLI里执行查询Hive中的表。2.在Spark程序中通过hiveContext.sql()查询Hive中的表。这两种都是Hive on Spark吗?还是说有什么区别?

查看全文

怎样做到从mysql 到 Hbase 或Hive的数据实时同步?

本人要对旧系统产生的数据进行分析,旧系统使用的是mysql数据库,由于数据量比较大,想把它导入到hbase中来进行分析(包括全量跟增量),这种分析的实时性要求比较高.Sqoop的实时性不太好,而且增量更新要求source table要有dataTIme的column才行。有谁知道有没其它更好的方案。

查看全文