分享
如何看待阿里云在Sort Benchmark 2015年排序竞赛上打破记录和其意义?
Sort Benchmark在官方网站公布了2015年排序竞赛的最终成绩。其中,阿里云用不到7分钟(377秒)就完成了100TB的数据排序,打破了Apache Spark的纪录23.4分钟。Sort Benchmark有全球科技公司“计算奥运会”之称,更早之前Hadoop的记录是72分钟。
据介绍,Sort Benchmark的排序竞赛包含4项比赛,其中GraySort和MinuteSort主要评测计算系统的规模和效率,是4项比赛中含金量最高的两项。每一项比赛又分通用目的排序(Daytona)和专用目的排序(Indy)两个类别。阿里云飞天分布式计算系统,在这两项重量级比赛中打破了全部4项世界纪录。
GraySort评测的是超大规模数据量排序的速度,飞天用了377秒对100TB数据完成排序,也就是说1分钟能够完成15.9TB的数据排序,去年Apache Spark成绩为4.35TB/分钟。MinuteSort评测的是系统在1分钟内能够完成排序的数据量,飞天用1分钟完成了对7.7TB数据的排序,去年冠军三星为3.7TB。
阿里云首席架构师唐洪表示,排序是最基础的计算问题。100TB排序,是把1万亿条无规律的100字节纪录,严格按照从小到大的顺序排序,考验分布式系统中存储、调度、通信等各个子系统的性能,能够反映出一个平台的整体计算能力。GraySort和MinuteSort这两项比赛,充分证明了阿里云在计算方面的核心能力。
据了解,Sort Benchmark是一个专门从事排序基准评估的非盈利机构,该机构每年都会举办一次国际顶级排序基准评估比赛,被认为是计算界的奥运会。全球顶尖公司和学术机构都会带着他们最新的研究成果来参加,以评估他们的研究成果。
回复 ( 10 )
谢邀
据我所知,阿里云目前提供最多的服务是存储,这也是很多企业的现阶段的真实需求,很多互联网公司目前对于计算、调度、通讯、加密等功能用得并不多。当然,这并不代表阿里云在在存储之外其它方面的能力不足。接触过一些企业,他们想使用七牛云或者又拍云等后起之秀,想要的就是这些云平台能够提供一些个性化服务,而阿里云现阶段似乎并没有像一些小微企业提供存储之外的服务。
感觉回答跑偏了,拉回来。
阿里的计算大家应该是有所耳闻,就是根据用户需求可以随时加大,比如春运火车票,那时候需求旺盛,阿里计算就会提供更多的空间和带宽以及相应的计算能力,就是按需实时调整。而阿里云在技术方面不多说,刚刚发布量子加密系统就充满神秘感。
这个问题我也和朋友进行了探讨。他说:spark的计算能力我们可以轻易获得,阿里云的计算能力我们却不能,已经和hadoop拉开数量级了hadoop的IO操作太耗时间了。结论是:spark仍是通用开源分布式框架的领头羊,但又尚未被最好的系统拉开数量级。
至于你说的意义,这个就像游戏里面的关卡任务,为了荣誉,还是不断会有人去挑战,阿里7分钟,下一个队伍可能6分钟59秒,然后这个记录会不断地刷新。技术在不断的进步,或许几年后,在毫秒的时间内完成你也能够接受。
纯手打,有关注大数据的欢迎加我们信微:idacker 懒人直接扫码也行。
(二维码自动识别)
不贴详细节点数、CPU数和内存量等详细参数,只给一个数值,我不知道该说什么。。。
首先,恭喜阿里相关团队~
另,我就是借地吐槽一下下面这个新闻:
计算无敌!阿里云377秒完成100TB数据排序:秒三星百度
百度今年根本没有参赛,只是往年得过一个冠军而已,宣传时候咱能别说秒了三星百度吗?
小明小班时候打破了幼儿园的跳高比赛记录。
后来到上中班时,小明就没参赛了,和小明同班的小刚开始参赛了,打破了小明在小班时创下的记录。
于是就能说小刚秒了小明吗?
Zhou Jingren 大牛曾今在微软开发出SCOPE 系统,比Spark早多了(也牛逼多了,只是没有开源而已)。
现在他是阿里VP, 也是这次排序论文的Co-author, 你懂的。
与其一群人在这儿猜测,不如我们去官网看一下数据。
我这里只截取了Gary测试集。
首先看下节点数目,阿里飞天使用了3134个节点,2014年的TritonSort使用了186个节点,Baidu使用了982个节点,Apache Spark使用了207个节点。正如阿里云的志神说的,“节点数多,并不一定会提高速度,节点数越多,节点之间的同步就越耗时”,可能节点多并不能代表什么。但是仔细想一想会发现各个节点之间的数据在排序过程中应该是不需要同步的。对于这块不是很懂,还请专家指导。
内存。阿里飞天 有96G和128G。和2014年的其他几家比较一下,显得内存不大。
硬盘。阿里使用SATA硬盘,其他使用SSD较多。差异不太懂,不评价。
最后,我上面只是摆数据,因为看到前面结果回答要数据,还希望更专业的人来做一个评价。
//吃了志神一弹弓,好伤。。。
这么多机器,100t,可以塞进内存去了,我觉得阿里应该还能做的更快点的,比如用bsp跑跑,但是估计阿里会慢慢玩这个游戏,一直霸榜
细节太少,看着脸红
阿里是很舍得堆机器的。比较下节点数,机器性能,网络性能,再瞅瞅有没有特殊优化,大概就能看出一些东西了。
拼的是配置还是相同配置下的分布式软件系统的计算能力?
先让新闻飞一会