刘军：18年“老兵”眼中的HPC与大数据、深度学习的融合

浪潮集团高性能计算总经理 刘军

是的。HPC在飞行器、高铁风洞试验、生物制药、基因检测、天气预报、环境监测、新材料研究、石油勘探等各个领域一直都有出色表现。而随着大数据时代的到来，人工智能技术的又一轮深入应用，HPC在互联网、深度学习、智能语音、人脸识别、安全检测等方面也有着突飞猛进的发展。

这也是亚洲超算协会联合浪潮等企业举办2015高性能计算用户大会（HPCUF2015）大会，并力邀请劳斯莱斯、美国再生能源国家实验室、阿里巴巴、百度、奇虎360、科大讯飞、英特尔、英伟达、中科院、清华大学、中石油等诸多行业专家深入探讨HPC应用实践的原因。

“大计算”推动基础架构融合

作为1997年就已步入高性能计算领域，到今年已有18年经验的“老兵”——浪潮集团高性能计算总经理刘军，对HPC的技术与发展的思考非常深入。“从使用小型机到x86架构，从32位到64位处理器，从百兆到千兆以太网，从NFS文件系统到高度扩展的Lustre，技术翻天覆地，行业已经实现了重大的转化。十几年前，国内多数500万以上的HPC项目多是国际品牌，但今天国内HPC市场上，国内企业已经占据了最高份额，并已经主动走出国门，为海外HPC客户提供更好的产品和服务。”

如果总结这18年的工作经验，刘军认为：过去的这1年完全不同于过去的17年。因为变化太快，行业巨变带来的挑战也是巨大的。如果不能迅速跟上，很快就会被淘汰。过去高性能计算的应用领域多是在石油、气象、材料科学、航空航天、汽车制造等行业，聚焦在如何通过HPC实现设计。但过去一年中，深度学习、人工智能的声音越来越响，越来越多的客户提出了大数据需求，希望通过HPC来进行统一管理，解决深度学习所遇到的性能问题，甚至本地资源不足时，能否通过云端HPC灵活提供服务，这些新需求的涌现都希望HPC的产品和技术来更加深入的支持。大计算的时代已经到来！

这一判断得到了人工智能领域专家的认可。百度科学家，深度学习研究院算法组和自然语言理解组负责人周杰表示：“当有百亿级的数据，至少有千万的参数，进行相关矩阵计算时，数量极为庞大。尤其会随着深度的增加而急剧增加。但随着参数增加，传统手段的计算能力受到制约，无法满足需求。随着数据的增加，千亿之后，更是如此。此时，高性能计算的支持则显得极为有必要。”

不止如此。不同计算方式对HPC而言，挑战也不同。一些行业尝试用Hadoop系统解决传统IO问题，一些行业开始用HPC实现云计算，一些正在实践HPC+BigData+Analysis=HPDA。而更多企业则思考如何通过不同的计算方式实现快速的硬件与软件的解耦，进而实现个性化的开发需求。

企业架构，已经向融合方向进化

变化已经开始。基础架构发展已经到了融合的时候。从计算架构发展来看，刘军认为有三个阶段，各阶段特点如下：

服务器即计算机，节点间通过网络互连，节点内紧耦合，节点独立存储，节点独立IO，服务器单独管理，节点独立供电和散热；
机柜即计算机，硅光互连，Switchless架构，分布式交换，网络拓补多模块样化，计算/存储/IO资源池化，机柜统一管理，供电和散热机柜化；
数据中心即计算机，机柜硅光互连与机柜间网络拓补结合，全局CPU/内存，存储，IO资源池，DC资源统一管理和调度，供电、散热全局共享。

第三阶段最明显的特征就是企业计算架构已向融合进化。现在业内已经能够看到，越来越多企业采购模式正在变化。比如中国顶尖的多家互联网采购不再单独购买服务器、存储等硬件，而是直接购买机柜，其中的配置都是个性化的。比如BAT的模块化数据中心。购买单元从单机到机柜单元，后续还会布满传感器，架构融合已是必然的进化方向。

刘军表示：“很多年前，HPC就是交钥匙工程，包含机房设计、散热、机柜部署到资源调度和分配、文件共享和系统优化等。而未来，融合还将继续深入。HPC+大数据，HPC+深度学习等，各种特性的HPC平台将被快速构建，投入应用。”

软件定义HPC应对三大挑战

变化越大，挑战就越大。浪潮希望用“大计算”解决所有企业架构的问题，那么首先的挑战是不同的计算特征需要适合的计算资源；其次是统一硬件架构要应对多样性计算的挑战，比如大数据、传统科学工程计算、深度学习等，但后台架构需求不同的情况下，如何才能实现；第三是支撑混合计算场景的软件设施灵活性。

为此，今年4月浪潮推出了“计算+”战略。核心理念是将服务器、网络、存储融合为一体，并通过软件定义方式实现计算架构的统一管理。正如昨天浪潮和思科宣布成立合资公司，服务器主动融合网络、存储的又一力证。

事实上，网络以外，浪潮早有准备。主机方面，浪潮自主研发的32/64路关键应用主机，单机支持1000核以上共享数据内存，通过NUMA架构能力计算，满足大规模工程仿真、精细化数值天气模式、大型结构化数据库等方面；胖节点方面，八路服务器稳定可靠，支持12TB，在基因科学、物理化如光谱分析、虚拟化和数据库、石油勘探、航空飞行器的模拟等方面都很合适。除此以外，还有高密HPC刀片集群，异构加速产品与应用，适用于需求大规模需求，如分子动力学、电池模拟、网络安全、深度学习等需场景。

在浪潮看来，软件定义的HPC包含三方面：

软件定义数据服务，高性能计算、大数据（如Hadoop等）、云计算（如OpenStack）形成统一的管理。比如可以支持不同的数据格式，为不同的应用提供统一的应用提供统一的存储空间，以及软硬件解耦，自动化部署。
软件定义网络服务，不同应用场景通过软件定义成为不同的拓补；通过资源通讯密集应用放到网络同一平面上。
软件定义资源服务，实现资源的服务和调度的统一服务。比如在物理机和虚拟机之间实现资源分配和迁移，实现计算在本地和云端的统一管理。

“在适应性计算环境，融合基础架构基础上，实现软件定义HPC。这就是浪潮对高性能产业的整体思考。面向大计算，我们认为既有挑战更有机遇，希望和更多伙伴一起前行。”刘军如此总结。

更多精彩详见：2015高性能计算用户大会（HPCUF2015）直播专题

不少朋友ImapBox@邮箱云存储，提到没有机会参加。我们特别请2位记者全程参加了2015高性能计算用户大会（HPCUF2015）大会的两场重量级分论坛《 深度学习》和《工业应用》。相关文章撰写中，会尽快发布。

机器学习专家：

张致江 科大讯飞深度学习平台研发主管
周杰 百度科学家 深度学习研究院算法组和自然语言理解组负责人
张清 浪潮HPC应用研发经理《基于HPC的Caffe深度学习平台》
王琤 阿里巴巴计算资深专家《阿里深度学习应用与GPU高性能计算》
王占一 奇虎公司数据挖掘专家《深度学习在流量识别中的应用》
鲁继文 美国伊利诺伊大学香槟分校新加坡高等研究院研究科学家、清华大学2015年中组部青年千人计划入选者《Deep Metric Learning for Visual Analysis》

工业应用专家：

刘周 中国航天空气动力技术研究院高级工程师《高性能计算与飞行器气动数值模拟》
刘波 上海海计信息技术有限公司经理助理，应用工程师《HPC在工业领域的应用与发展》
赵帅 浪潮高性能计算系统架构师《CAE/CFD HPC行业解决方案》
陈哲 北京中科紫鑫科技有限责任公司外联部经理《国产测序仪与基因HPC》
罗国安 中国石油东方地球物理公司研发中心书记《应对石油勘探高性能计算的新挑战》

如果有问题，欢迎讨论。