帐户注册

登录

找回密码

忘记密码了?输入你的注册邮箱,并点击重置,稍后,你将会收到一封密码重置邮件。

可以去哪儿找一些hadoop MR程序来练习?

本人最近在面试hadoop/hive开发相关的职位,由于没有写过实际的hadoop MR程序和hive开发,导致面试中碰壁较多。所以还想请教下大家,我可以去哪儿找一些题目/项目来练练手?或者大家有什么好的建议可以分享一下么?以下是个人情况:可以在集群上搭建hadoop环境,可以自主解决一些hadoop常见问题。(对hadoop和hive的基本原理是理解的)阅读和修改过hadoop的部分源码,写过wordcount和一些简单的MR程序。hive只是对基本操作熟悉一些。没有写过实际的hadoop MR程序,也没有hive实际开发经验欢迎大家不吝赐教。。

查看全文

爬到社交网络文字数据有什么用?

写了个小爬虫,爬了某社交网络数据,一晚上拿到大概500万纪录,还在爬。。。不知道这些数据有什么用。为了方便没有存关系数据,有没有必要完善一下然后把关系数据存下来(评论和评论人,点赞什么的)?谢——-来补充下,我爬的是qq空间,特别是说说的数据。这货没有速率限制,直接开80个线程放digital ocean, 单机就这速度。如果用上redis做分布式估计可以把腾讯服务器搞垮(听说是node JS的后端)最近没有看爬虫,GitHub上有人给我说好像被查了,等我申请季完了去看看。爬虫是我学C++的时候写的,所以略暴力,爬虫逻辑也挺简单的。有段时间还用Scala重构了下,写了点前端API,也不知道现在怎么样了。

查看全文

零基础转行it,哪个方向容易一些?

本人30了,高中理科,大学文科,一直做销售,感觉不稳定,现在想转行做it。请问IOS,大数据互联网(Java软件开发)和网络营销(建站,seo/sem等)这3个方向哪个更易入手,哪个未来发展空间更大。在考虑报培训班,全日制的。谢谢了

查看全文