9月26日上午,在2019云栖大会上,刚加入阿里巴巴不久,目前担任阿里巴巴副总裁、阿里云智能计算平台事业部总经理的“Caffe之父”贾扬清在其主题演讲《让AI拥有无限可能的开发平台》中介绍了飞天大数据平台和飞天AI平台,作为飞天大数据平台架构核心之一的大数据计算服务MaxCompute和飞天AI平台核心引擎PAI被重点提及。

在云栖大会期间让人目不暇接的各项重大新品与战略发布消息中,飞天大数据平台中MaxCompute与飞天AI平台中PAI联合公布的成绩单也并不逊色——由英特尔支持的阿里云MaxCompute和PAI,成为在国际大数据性能基准测试TPCx-BB中,目前全球唯一一家通过100TB数据规模测试的系统。而在30TB数据规模的测试中,阿里云与排名第二的系统相比,在性能快了近一倍的同时,成本降低了约一半。

“支撑阿里巴巴经济体近全量大数据业务”——MaxCompute

MaxCompute是一种快速、完全托管的PB级数据仓库解决方案,使用户可以经济高效地分析处理海量数据。它可以提供简单易用的多功能计算服务,具备极致弹性能力与完善的平台服务,同时能够帮助用户降低总体拥有成本。

MaxCompute在阿里巴巴的地位是至关重要的,据阿里3分快3_3分快3分析平台研究员、高级总监关涛先生介绍,飞天平台在2009年建立时一共分为三大部分,其中之一就是现在的MaxCompute,主要实现分布式计算,而另外两个就是EB级分布式存储系统“盘古”与数万台机器规模分布式调度系统“伏羲”。

“MaxCompute的作用分成两部分,一部分是阿里巴巴内部,我们存储了阿里巴巴99%的数据,承接95%以上的计算需求,可以理解为,MaxCompute就是阿里巴巴这个经济体的大数据内存,是(几乎)所有阿里的数据,如淘宝、支付宝、天猫、拍立淘,以及各种人工智能应用的大数据计算平台。大概从2015年开始,MaxCompute在云上提供对外云服务,目前也是阿里云排名前十的旗舰产品之一。”关涛说道。

“飞天AI平台核心AI开发环境和框架引擎”——机器学习PAI

机器学习PAI是飞天AI平台中的核心产品,构建在阿里云MaxCompute等计算平台之上,在机器学习大规模分布式训练场景拥有非常强的性能表现,在本次TPCx-BB的比赛中,PAI基于MaxCompute,在逻辑回归、Kmeans、朴素贝叶斯三个算法的表现性能上取得很好的成绩

除此之外,机器学习PAI还支持MPI, MapReduce, PS, Graph等多种算法引擎,支持上百种常用算法,在算法上持续创新优化,性能和正确率上有显著的提升。机器学习PAI不仅为企业提供快速拉起的软硬件一体AI编程环境,还为企业提供被集成的AI解决方案,包括PAI算法的支持客户二次开发,PAI的API服务支持客户定制化AI平台,PAI编译优化的能力支持客户集成到自己的平台环境等

目前大数据领域最佳的参考标准TPCx-BigBench(TPCx-BigBench)

TPCx-BB是由国际标准组织TPC(Transaction Processing Performance Council)制定的一项大数据性能基准测试,通过最常用大数据应用场景来全面衡量系统软硬件性能,是最终客户选择最佳软硬件平台的重要参考标准。

谈到选择TPCx-BB来验证MaxCompute平台性能的原因时,关涛表示首先TPC是一个相对比较权威的基准测试组织;其次,TPCx-BB测试中同时包含了大数据、机器学习工作负载,既有结构化的24小时数据,也包含非结构化数据,有30种不同的维度基准联合测评,这代表着更丰富的测试结果,测试环境更能贴近越来越丰富的用户作业场景。

软硬件双赛道发力,英特尔为阿里飞天平台(MaxCompute+PAI)赋能

在MaxCompute/PAI多年的系统优化过程中,英特尔作为阿里巴巴重要的合作伙伴,提供了许多助力。英特尔作为测试基准中BigBench的重要贡献者,与阿里云开发团队深入合作,共同扩展TPCx-BB测试集,增加对MaxCompute计算引擎的支持,并一起在TPCx-BB委员会中共同推广MaxCompute/PAI,促成TPCx-BB官方测试集升级,继而正式纳入阿里云MaxCompute/PAI计算引擎的支持。

据英特尔高级首席工程师、大数据分析和人工智能创新院院长戴金权先生介绍,英特尔与阿里巴巴在MaxCompute/PAI平台的基准测试方面有近3年的合作历史。双方合作涵盖软硬件两个层面:在硬件层面上,MaxCompute/PAI平台基于搭载了英特尔至强可扩展处理器的服务器,通过充分发挥英特尔至强处理器的潜力,获取了强大的性能。此外还使用了英特尔傲腾数据中心级持久内存,帮助提升数据存储能力;在软件层面上,英特尔与阿里巴巴共同合作,用大量英特尔工具去分析性能,找到性能的瓶颈。与此同时,针对系统中的众多核心算法或算子,双方工程师也通力合作,帮助提高系统性能。

随着数据规模的不断扩大,作为系统基石的硬件基础设施,将面临新的挑战,也将产生新的自身发展趋势。戴金权表示:“对于英特尔来说,我们认为硬件计算架构将来的趋势,会是一个异构或者超异构。包括英特尔自己也非常看重标量、矢量、矩阵、空间等等各种超异构架构,来支撑大数据处理分析,包括机器学习等等工作负载的计算。”

当然,戴金权补充表示,除了硬件之外,软件的升级也是提高系统性能的必要手段。通过软硬件升级叠加,将得到成倍数量级的提升。

对于未来双方在飞天大数据和AI平台(MaxCompute/PAI)持续优化上的合作,戴金权表示,双方在新的硬件架构技术平台有非常紧密的合作,包括上文提到的超异构的架构,共同探索如何更好地利用新的技术,为大数据处理分析、机器学习平台赋能。另外,双方也合作致力于将AI平台和大数据平台紧密联合,使不同的组件更好地联合在一起,打通整个计算流水线。

【凡本网注明来源非中国IDC圈的作品,均转载自其它媒体,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。】

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排 行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2019-09-30 16:23:48
云资讯 技术赋能,英特尔与阿里云携手推进奥运会创新应用
在2019年杭州云栖大会上,英特尔与阿里云签署战略合作备忘录并宣布:将面向2020年东京奥运会和2022年北京冬奥会,在360 8K VR、3D数字孪生、云转播等领域展开密切合作;双 <详情>
2019-09-29 18:51:25
云资讯 云栖智变阿里云走向产业更深处
有人说杭州有两张世界级的科技名片,一个是乌镇世界互联网大会,一个是云栖大会。 <详情>
2019-09-29 16:39:00
云资讯 闪耀云栖|CStack携手阿里云推出智能云桌面联合解决方案
9月25日由杭州市人民政府、阿里巴巴集团主办的3分快3_3分快3分析行业顶级峰会——2019云栖大会在杭州云栖小镇国际会展中心正式拉开帷幕。 <详情>
2019-09-27 16:17:44
市场情报 惠普与阿里云达成战略合作,打造行业生态系统
2019年9月27日——2019阿里巴巴云栖大会在杭州云栖小镇盛大开幕,作为全球知名的科技公司,惠普在“互联+融合:智能云时代下的服务新生态主题分论坛”上发表演讲 <详情>
2019-09-27 12:43:29
大数据资讯 英特尔助力阿里云创造世界纪录,加速大数据计算创新突破
英特尔作为测试基准中BigBench的重要贡献者,与阿里云开发团队深入合作,共同扩展TPCx-BB测试集,增加对MaxCompute计算引擎的支持,并一起在TPCx-BB委员会中共同推广MaxCom <详情>