HPC技术趋势：HPDA、深度学习、软件定义和机柜即HPC

在整个访谈过程中，三位专家立足应用展开回答。钱德沛表示，Top500套数的动态排名中，中国的起伏并不足虑，应当关心的是HPC的整体发展水平，更进一步地说，是要关注到底哪些领域进了Top500榜单和实际发挥的作用。他认为，HPC应该避免把自己限制到很窄的范围，要有一定的量才能促进应用的发展。

Earl C. Joseph II认为，大数据时代的到来，让HPDA（基于HPC的大数据分析）应用成为HPC的下一个爆点，目前67%的HPC资源用于HPDA，而机器学习/深度学习的需求是其中较为典型的应用，一个解决思路是众核扩展。此外他还谈到了云计算的趋势，认为云端HPC不宜使用虚拟化。这些都需要应用设计考虑。

作为HPC硬件支持平台提供方，浪潮更能切身感受到云、大数据、深度学习、IoT对HPC带来的冲击，也更加需要未雨绸缪，刘军表示，复杂的应用环境下，需要统一的计算架构能够应对多样性的计算、混合计算的场景，这就要做到基础架构的融合，进而实现软件定义HPC。硬件融合的一个典型，就是机柜即HPC。

HPDA

传统的计算形态，包括追求存储容量和追求性能两种方式。前者是传统的互联网用户所关注的，研究怎么在更低功耗情况下给出更多的存储量的计算，比如Hadoop；后者追求在最短的时间跑出更准确的结果，即传统HPC，对计算、内存、网络、I/O要求很高。但大数据打破了二者的界限，推动了HPC的演进。

Earl C. Joseph II表示，大数据与HPC的结合正在衍生很多新的方案，也就是HPDA技术，比如图分析、语义分析和知识发现等。这让更多的用户加入到了HPC。IDC预测，全球HPDA服务器2015年营收可达11亿美元。

Earl C. Joseph II列举了HPDA的几个典型案例：

• 基于超算的分析开始改变医疗行业
• 美国邮政管理局（USPS）为HPDA转向HPC
• Paypal声称更多的财富2000强公司能够从HPDA获益

USPS的Total Revenue Protection Program（TRP计划），使用近实时分析指导动态路由和通过Sunday delivery和same-day delivery创造新的营收机会。该计划采用了MCDB（memory-centric database），在6小时之内处理40亿事务。

对于Paypal本身，根据IDC的估算，基于HPDA的欺诈检测已经为Paypal省下了7亿美元。Paypal未来希望通过HPC做整个IT基础架构的管理，以及用于市场营销的Beacon计划。（链接：年交易额1800亿美元，揭秘PayPal成功背后的三大热门技术）

Paypal目前的规模如下：

• 每天1000万+登录
• 每天1300万+交易
• 每天约40亿inserts
• 每天约80亿selects

IDC认为，存储是HPDA市场增速最快的部分，与此伴随的是HPC互联技术也在变革，数据迁移/管理则是一个主要痛点。

云的架构是数据存储、数据共享的一个流行方案，在大数据时代，也确实有不少的HPC在云端（IDC最新调查结果显示25%的HPC在云上），但在Earl C. Joseph II看来，HPDA要能够搞定各类数据，并行算法以，数据科学家开发的算法，并且对性能非常敏感，基于虚拟化的公有云，在HPDA方面还有所欠缺。

刘军则认为，云计算、大数据与HPC之间的影响是相互的：HPC需要云解决更多的资源共享和服务、计算便利性问题，大数据需要HPC解决性能问题，同时大数据技术也为解决传统HPC不好处理的问题带来灵感。这是一个交互的作用，最后出来的形态，浪潮叫做Big Computing（大计算），他不再是传统的HPC，传统的大数据和云，而是二者的融合，是一种新的大的形态。

钱德沛也谈到，不能划分容量型应用和性能型应用的资源边界。他表示，传统超级计算主要是强调能力型应用，但在中国的国情下，超级计算机安装在通用的超算中心，能力型应用和容量型应用共存并分享系统的资源，不可能排斥容量型应用。大数据应用大多数是容量型的，包括互联网应用、数据分析、数据挖掘，但是也有一些是能力型的应用，而且越来越多的能力型应用需要超过单独服务器通过以太网互联起来的资源的能力。这一类应用可能随着互联网应用发展越来越多，并且和老百姓的生活相关，比如大量的数据挖掘、金融计算和数字媒体的渲染。

从整个HPC应用的发展来看，Earl C. Joseph II谈到了如下趋势：

1.  基于众核的扩展性。应用需要设计成为更有扩展性的，不仅仅在一个核或者几个核上，而是在众核上的扩展性。

2.  云、大数据和HPC。云一般是基于虚拟化的，但虚拟化会让HPC性能变慢，在未来HPC的应用需要结合云的应用和HPC的特点。

3.  云端可靠性。HPC的应用，特别是在云端，其设计的理念是：云端硬件故障的情况下还能继续运转，保持工作稳定性。

4.  应用的发展趋势基于应用的寿命。目前有些应用只存活几个月，而未来HPC应用应该是有五六年的寿命，五六年中硬件会有一个飞速的增长，所以应用的设计考虑到这方面的需求。

5.  工业应用定制化。在CFD工业设计领域，比如汽车设计，应用一旦跑起来，工程师就能看到设计出的车的特点，以后的趋势是会有不同的应用用于汽车设计，因为汽车应用的特点非常鲜明。

深度学习

依赖于数据量和计算力的深度学习，是HPDA的典型应用。根据浪潮过去这一年HPC业务接近100%的成长经验，快速成长的推动力就来自于深度学习和工业应用。刘军介绍了这两种需求：

• 工业应用：眼下从中国制造到中国创造的转型期，工业、企业自主创新的能力越强，就越需要像HPC这样的技术来帮助提高产品设计的质量。因为要创造、要设计、分析，很多复杂的需求将需要HPC来帮助实现，比如电器、汽车、飞机的设计。
• 深度学习：在商业上需要利用大数据做顾客信息的分析，还包括深度学习在互联网的应用，比如哪些广告搜索排名靠前，这些都是HPC在商业化的应用。

但是否应当那么单独强调深度学习呢？钱德沛认为，百度成功的经验之一是用HPC的能力进行深度学习，深度学习是HPC应该考虑的应用之一，当然深度学习不是全部。

他表示，HPC没有固定的模式，现在要避免把自己限制到很窄的范围，因为很多应用是有发展的，可能开始的时候可能是容量型应用，到了一定的水平就变成了能力型应用。所以，应用的多样性、系统支持和适应应用是很重要的，不能把HPC做的像阳春白雪一样，要有一定的量才能促进应用的发展。

深度学习的特殊性，在于新鲜而实用，同时对计算力上限需求非常高，只要神经网络模型和数据量允许，软件上还要实现数据并行和/或模型并行来加速。另一方面，深度学习的用户主要是互联网公司，往往采用分布式的架构做大数据，用单机做学习，同时对HPC的解决方案流程不一定很熟悉。所以，浪潮也选择深度学习作为Big Computing的一个突破点，提供一些面向深度学习的一体化HPC方案。

钱德沛认为，做机器的难处就在这里，它要适应不同类型的应用需求，同时要考虑能够使用的技术、实现的手段，要在技术条件下和应用需求下选择最优，做工程上的折中、权衡。换句话说，不管是流计算，还是未来的神经网络芯片，只要顺应应用，也是HPC可以考虑的体系结构。

软件定义HPC

对于钱德沛提到的难点，其实刘军在大会的主会演讲上也做了分析，他提出的Big Computing，就是要做到基础架构的融合，进而实现软件定义HPC，灵活地应对不同工作负载的需求。

钱德沛表示，软件定义的思想很老，但对于解决当前HPC用标准化的硬件适应应用多样性的问题，技术上、商业上都具有可行性。

刘军介绍了浪潮在软件定义HPC方面的进展：

在产品技术上已经做这样的布局和应对，现在这个工作没有完全完成。有的已经具备产品的基础，在计算环境已经完成准备好了，有的还在路上，比如64路、支持48TB大内存的主机，在明年才能发布。第二层的融合基础架构，思路上和浪潮在互联网领域走的比较早的SmartRack是一脉相承的。

浪潮即将推出“机柜即HPC”的产品，实现计算存储的融合，以及初步的软件定义网络。在软件设施层次，浪潮已经分别实现了软件设施数据、服务网络服务和资源服务三个层面，现在要进一步整合，相互之间打通，形成真正核心的软件定义HPC。

附：中外HPC的差别

谈到中外HPC的差别，Earl C. Joseph II认为，主要在于主要中国HPC的应用刚刚发展，所用的芯片和硬件都比较标准。而美日欧的HPC已经有35年的历史，很多HPC应用是35年前写的，这些应用的发展，一开始就在一种或几种处理器上，现在也只能在一些已经淘汰的处理器上跑。中国HPC起步比较晚，但是可以根据现在最新的技术编写应用，这些应用也都是比较标准化、商业化的。

此外，Earl C. Joseph II对浪潮、曙光、华为、联想等中国公司在HPC市场的表现评价颇高。他表示：

这四个厂商都表现不错，有不同的战略。浪潮是在全球有个布局，联想买了IBM的X86的业务也表现不错。IDC拿到的数据显示，浪潮、惠普和Cray在HPC领域有很好的增长，而IBM、Hitachi和戴尔有所下降，IBM把X86业务卖了以后有5%的下降。

对于这些中国公司的全球化策略，他还给出了如下三个建议：

1. 首先定位好公开市场。欧洲是一个非常好的公开市场，比如德国、英国、意大利等国家每年有很多的需求。
2. 美国的一些市场，美国政府是非常的支持，所以可以定位在美国的工业界和美国的大学。
3. 比较有效地找到当地的合作伙伴和渠道，这样能够解决一些当地的法律、规则的问题。

本文为ImapBox原创文章，未经允许不得转载，如需转载请联系market#csdn.net(#换成@)