大数据访问的处理,从csdn上搬运来一个问题? 举报 理由 举报 取消 像淘宝 、京东商城、腾讯、360,每天海量的数据,他们的数据仓库用的什么数据库,怎么存储的,运行每天的作业也是个挑战???-CSDN论坛-CSDN.NET-中国最大的IT技术社区 2018年1月21日 2 条回复 1200 次浏览 并发,数据,数据库,设计
回复 ( 2 )
存储:可以直接按日期把log丢到备份系统。
备份系统:穷的用硬盘柜,有钱的自己搭存储集群,壕就直接上存储一体机。
处理:设计地好的系统,数据会直接从业务中间件流式或定期丢到处理集群,或者从备份系统手动丢到处理集群。
话说,这是菜鸟花式骗架构的么?
那某宝来说,数据量是很大,但常用数据也是可控的。比如交易数据,最近7天的最常用,最近1个月较常用,3个月以上就很少用。按照时间分区,常用的数据好点的一台服务器也够支撑了。当然实际肯定是多台实现热备份还有读写分离。就是说淘宝最近1个月的交易量这点数据量来说,很多公司都不是问题。不常用的数据只需要容量大,性能要求低,就更不是话下了。
除了交易数据还有宝贝等大数据,这些数据可以横向分区分表,可以用类似redis等nosql来缓存,也不是问题,无非是机器多少罢了。而且这些数据也不需要非常高的可靠性,万一丢点数据,影响也不大。交易数据是关键。淘宝的核心层应该是java系统,跟银行一样的安全等级。外层很多是用普通的web端技术做的,如mysql,nginxlua,memcache等。