一个big data 应用的架构设计? 举报 理由 举报 取消 公司准备考虑一个big data 的应用， 但现在已有基于SAP 的系统， 和基于 Microsoft SQL 的系统， 一些 顾问公司提出的建议是把所有SAP和 microsoft SQL 里的data全load 到 HAHDOOP去。 但管理SAP的组 和 组都不愿意这么做。我也觉得这不是一个正确的做法。 现在有什么成熟的架构能够只在需要的时候读取 SAP和 microsoft SQL里的data， 而不是在Hadoop上再做一套数据的备份。 2017年6月15日 3 条回复 979 次浏览 cloudera,Hadoop,SAP,数据,架构,爱普,系统
回复 ( 3 )
SAP Vora 可以做到。如果有data service BODS 也可以使得Hadoop 和 SAP沟通。
有一点不要混淆，hadoop 安全性不够不要随意倒入敏感文件。而且Hadoop 你做table join也是很慢的。
最好看看你们自己的方案来制定客户的案例。随便举个例子就是网商可以把user log 放入Hadoop 然后与SAP里面的购买记录进行分析来做推荐系统或者需求分析什么的。
咨询公司是对的，你要做的是批处理分析型业务，而sqlserver那些是crud关系型数据库，数据存储方式是不同的。你可以先写个inputformat从他们那边读,结果必然是慢，你就有理由让他们优化批量读，优化不出来？那就乖乖的提前倒入我这边咯。
这就是守旧者的阻力，明显他们是为了保住饭碗而阻碍新技术的引入；对于分析型系统，完全可以尝试引入新技术，SAP太贵了，而且继续沿用不能良好的建立公司内部的技术氛围。