数据库开发和ETL以后的发展方向是什么? 举报 理由 举报 取消 现在的工作是做oracle开发,会做ETL数据抽取。那么这种工作性质以后是往哪个方向发展,是数据分析还是数据仓库还是什么,那需要接着学习哪些方面的知识来增加技术能力?应该是大数据方向吧,但是没有接触过hadoop 2017年11月15日 3 条回复 1157 次浏览 ETL,Oracle,互联网,大数,据分析,数据仓库,数据库开发
回复 ( 3 )
数据分析和数据仓库都是好方向,你的背景看着还是偏工程,我觉得可以朝数据仓库方向发展。ETL属于数据仓库的一个小方向,偏向于数据的抽取和建模。还可以把数据采集,传输,存储管理,计算这一套的都学习起来,这样你就是正儿八经的大数据平台工程师了。先把Hadoop那套弄一遍。
我的观察和猜测
数据仓库会与大数据技术结合,比如Apache Kylin。
ETL工具也会跑在Hadoop集群上,利用集群能力来应对大数据的ETL需求,各种DataFlow的项目,比如Apache Pig,Cascading,Hortonworks DataFlow等
OLAP会利用批量和流式大数据技术,OLTP可能在MPP和NewSQL上发展。
数仓要平台化,要为scalability做打算,这个scalability不仅是性能上的,通过分布式解决的,还有功能上的,一些架构方面事先做打算。
前台业务的分表跟数仓业务的分表可能不大一样,这些都需要专业的人,有一段时间的实际操作经验才可以。