从HPC瓶颈到AI开发难题,英特尔帮你“一次性解决”

日期:2018-11-07      来源:51cto      作者:佚名      编辑:otpub      点击:62次

当前,人工智能正在以前所未有的速度发展,它所蕴藏的巨大潜力将带给我们无限的想象。众所周知,计算、算法和数据是人工智能的三大基础,因此,要保证AI的成功就需要从这几方面入手。

随着数据量的增长和技术的发展,对数据进行处理的能力也有了长足的进步。特别是随着摩尔定律的延续,从2006到2017年,整体计算成本降低了56%,存储降低了77%,但同时性能提升了41倍。从性能和成本角度,AI在各个行业的落地已经具备了充足的条件。

英特尔高性能计算解决方案和销售总经理 Nash Palaniswamy

日前,主题为HPC+一切皆可计算 第十四届全国高性能计算学术年会(HPC China2018)在青岛召开。大会期间,英特尔高性能计算解决方案和销售总经理Nash Palaniswamy在接受51CTO记者采访时表示,英特尔正在从以PC为中心的战略,转向以数据为中心的战略。在数据中心方面,英特尔希望帮助客户从计算、存储角度降低整体拥有的成本,增强整个系统的性能。从而,推动客户实现以数据为中心的基础设施转型。

HPC China2018-英特尔展台

持久内存技术破解HPC存储挑战

人工智能特别是机器学习和深度学习,需要庞大的计算资源,随着数据的增长,高性能计算(HPC)变得越来越重要,只有拥有更好的HPC才能更好的训练深度学习模型。因此,我们不难理解,计算是人工智能的发展基础,而HPC则是人工智能最为坚实、可靠的计算力供给源泉。

实际上,大规模HPC的存储面临着非常大的挑战。在人工智能领域,存储需要更快的速度,同时数据在被移动和存储后,还能够进行实时处理。在以数据为中心的基础设施中,英特尔的策略就是保证能够更好更快的移动数据、存储数据、处理数据。

存储在HPC和AI中都非常重要,相比较于我们熟知的固态硬盘、内存,英特尔创新性的研发了持久内存(Persistent Memory)的产品形态。数据显示,持久内存未来将达到100亿美金的市场规模,对于实际应用程序的性能提升效果非常明显,原来需要十分钟的处理速度,现在可能只需要几秒钟。

Nash Palaniswamy表示,持久内存的闪存速度比SSD闪存会更快,将成为存储领域中非常重要的创新。从一个完整的存储架构角度来说,无论是AI应用、HPC应用,还是一般的企业级应用,实际上都能够很大程度从大容量的持久内存中受益。

帮助用户一次性解决AI开发难题

目前,大多数HPC或人工智能应用都运行在英特尔至强可扩展处理器之上。从HPC和人工智能的关系来说,人工智能实际上是一种比较典型的高性能运算工作负载。但是单一的产品,并不能满足人工智能领域的所有应用,因此英特尔希望可以通过不同的产品线满足不同的市场需求。

Nash Palaniswamy指出,在整个AI开发流程中,实际上训练工作大约占到了全部时间的30%,训练之前要花费大量时间准备数据、格式化数据、处理数据、再输入进去,把数据用不同方式呈现给最终用户。但其实,训练应该只是整个流程中非常小的一个部分。英特尔希望帮助用户搭建一个一致性的平台,不需要再去切换更多的平台,一次性解决AI开发难题。

针对于人工智能,英特尔也将在下一代至强处理器中加入深度学习的加速器英特尔®DL Boost,在进行INT8运算时,最高可以提升约11倍性能。在新功能帮助下,用户在已有的软件优化条件下进行纯粹的训练运算时可以提升1.4倍的性能。但对于普通用户来说,其实并没有这么多的训练需求,一个星期可能只训练一次,为了这一次训练而单独采购一个额外的加速器,实际上并不是一个非常划算的投入。因此,在英特尔整体性能提升情况下,用户完全可以把训练工作放在英特尔已有的平台上进行处理。

除了硬件之外,软件框架也是人工智能领域非常重要的一个基础。今年3月,英特尔的人工智能产品团队宣布开源 nGraph,这是一个面向各种设备和框架的深度神经网络模型编译器。通过nGraph,数据科学家能够专注于数据科学研发,而不需要担心如何将 DNN 模型部署到各种不同设备做高效训练和运行。通过新的软件基础设施,英特尔能够给用户提供更多性能,从而可以更快的解决他们面临的问题。

Nash Palaniswamy给记者举了一个在医药行业的案例。英特尔正在与诺华(Novartis)合作,利用深度神经网络来加速高内涵筛选,这是早期药品研发的关键因素。该合作团队大大缩短了训练图像分析模型的时间,从之前的11小时变为了31分钟,近乎20倍的改变。在药物研发过程中,图像训练面临着很高的计算负载,大内存的AI处理方式在传统GPU上很难完成并且效率非常低,这种场景就非常适合用CPU处理。

最终,该团队使用了八个基于CPU的服务器,一个高速光纤互连和优化的TensorFlow1。通过在深度学习训练中利用数据并行的基本原理,以及在服务器平台上充分利用大容量内存支持的优势,完成了每秒缩放超过120张3.9百万像素的图像的任务。因此,针对这种大内存或大数据量的应用需求,英特尔平台就体现出了非常强的性能优势。

揭秘至强平台新一代路线图

Nash Palaniswamy也对英特尔至强平台的新一代路线图进行了解读。英特尔将在今年年内推出Cascade Lake,也就是下一代英特尔至强可扩展处理器的核心,它将基于新一代平台,性能将会得到显著提升,包含新的I/O功能,增加人工智能深度学习加速器英特尔®DL Boost功能以提升INT8性能,以及英特尔®傲腾™数据中心级持久内存的创新,单个内存插槽最大可以支持到512G的内存容量。

未来,英特尔也会持续保持在数据中心领域的持续投入,预计明年将会推出Cooper Lake平台,2020年将会推出Ice Lake平台。

从英特尔的策略来讲,不仅仅关注人工智能,更是推动着整个数据中心化趋势下基础设施的更新和创新。未来通过对AI、HPC、BigDL等技术的持续投入,为用户提供更加完善、更加强大的产品和解决方案。 Nash Palaniswamy说。

注重AI开发者和人才培养

在整个生态中,英特尔也非常注重开发者和人才培养,并希望用开源的方式推动AI实现更快的发展。目前,英特尔建立了AI学院和AI开发者社区,在全球已经有超过11万个开发者。同时,英特尔与全球超过90个大学在人工智能领域达成合作。

在中国,今年9月,南京大学与英特尔宣布成立了英特尔-南京大学人工智能联合研究中心,双方将在人工智能技术创新、人才培养以及生态建设方面进一步加强合作。

此外,英特尔还参与倡导发起了2018年全国并行应用挑战赛 (PAC),PAC大赛也采用英特尔至强处理器作为推荐平台。在人工智能赛中,组委会选择华为云EI大数据MRS服务作为大赛结果评选的独家评审平台。


关键字:HPCAI开发英特尔

本站所载作品版权归作者及原出处共同所有。凡本网注明“来源:OTPUB”的所有作品、文章,版权均属于本站,转载、摘编或利用其它方式使用上述作品,应注明“来源:OTPUB” 或 “摘自:OTPUB”。

上一篇: 浪潮HCM Cloud 正式发布 开启... 下一篇: 分布式机器学习的参数服务器