先说一下基本情况吧,我是名牌大学本科毕业,但是毕业之后并没有从事本专业的工作,而是做了系统运维工程师。虽然是在一家大公司,但是却在一个可有可无的部门,基本什么东西都没有学到,如今已经过去将近两年了。在职期间一直利用业余时间在学习大数据相关技术,对Hadoop,MapReduce和Hive都有了比较深入的了解,也仔细地阅读过部分源代码,对RPC框架,序列化机制等等都作了深入的探索。也写过很多MR算法和Hive UDFs。最近想从公司离职去追求自己的梦想–大数据相关工作,但是从简历反馈和面试情况来说都不太乐观,各家公司都对相关经验及其看重,让我有些迷茫了。我想问,有没有什么好的途径或者办法可以让我迅速积累相关经验?我想到的是 […]
查看全文使用HWI从Hive查询数据会出现Http请求超时吗?
使用HWI从Hive查询数据会出现Http请求超时吗?查询Hive时由于数据量比较大,查询时间可能非常长,Hwi会出现请求超时的情况吗,如果没有这种问题,Hwi是如何实现的?
查看全文可以去哪儿找一些hadoop MR程序来练习?
本人最近在面试hadoop/hive开发相关的职位,由于没有写过实际的hadoop MR程序和hive开发,导致面试中碰壁较多。所以还想请教下大家,我可以去哪儿找一些题目/项目来练练手?或者大家有什么好的建议可以分享一下么?以下是个人情况:可以在集群上搭建hadoop环境,可以自主解决一些hadoop常见问题。(对hadoop和hive的基本原理是理解的)阅读和修改过hadoop的部分源码,写过wordcount和一些简单的MR程序。hive只是对基本操作熟悉一些。没有写过实际的hadoop MR程序,也没有hive实际开发经验欢迎大家不吝赐教。。
查看全文HBase中rowkey设计有哪些注意点?分别针对这举出一个实例给予说明。
HBase中rowkey设计有哪些注意点,分别针对这举出一个实例给予说明。
查看全文什么是Hive on Spark?
1.在Hive里设置hive.execution.engine=spark,然后在Hive CLI里执行查询Hive中的表。2.在Spark程序中通过hiveContext.sql()查询Hive中的表。这两种都是Hive on Spark吗?还是说有什么区别?
查看全文怎样做到从mysql 到 Hbase 或Hive的数据实时同步?
本人要对旧系统产生的数据进行分析,旧系统使用的是mysql数据库,由于数据量比较大,想把它导入到hbase中来进行分析(包括全量跟增量),这种分析的实时性要求比较高.Sqoop的实时性不太好,而且增量更新要求source table要有dataTIme的column才行。有谁知道有没其它更好的方案。
查看全文