【BDTC先睹为快】吴忠杰:如何用闪存创新技术来解决大数据问题

2015中国大数据技术大会

BDTC 2015将为期三天，在大会主会之外，拟设立16个分论坛，包括数据库、深度学习、推荐系统、安全等6大技术论坛，金融、制造业、交通旅游、互联网、医疗健康、教育、网络通讯等7大应用论坛，以及政策法规和标准化、数据市场及交易、社会治理等3大热点议题论坛，将邀请近100位国外大数据技术领域顶尖专家与一线实践者，深入讨论Spark、Kudu、PostgreSQL、YARN、HBase、机器学习/深度学习、推荐系统等热门技术及行业实践。

本次大会邀请到了北京忆恒创源科技有限公司研发经理/架构师，闪存系统负责人吴忠杰讲解在数据海量爆炸的背景下，如何利用闪存创新技术来解决大数据的问题。

众所周知，在IT基础设施领域，处理器和网络设备的性能这些年都在飞速发展，但是磁盘的转速由于受到机械设备的局限发展迟缓。而互联网的兴起催生了数据的爆炸性增长，这样存储就成为整个IT系统架构的瓶颈。不管从NAS到SAN，人们对存储架构，数据分级，数据保护以及信息生命周期管理等多方面开始寻找解决之道。最近几年，闪存从简单的移动存储设备进入到海量磁盘存储，那么闪存何时才能真正成为解决存储问题的主力军，还有哪些条件没有成熟，有哪些技术需要突破，吴老师将在11日下午的大数据基础设施分论坛做精彩的演讲。

吴忠杰老师曾经在中国科学院计算技术研究所担任存储虚拟化团队课题组长，并在EMC公司 DataDomain团队负责备份存储系统的研发。目前在Memblaze负责闪存存储系统的研发，他研制了FlashRAID数据保护系统产品、BlazeArray全闪存系统原型。

以下为吴忠杰采访实录

ImapBox：您觉得所谓的大数据存储与传统的存储有哪些区别,当前有哪些技术来应对这种挑战?

吴忠杰：大数据存储和传统存储相比，一个很重要的差别是可扩展性，也就是行业常说的Scaleout，包括容量和性能两方面的可扩展性。为了达到这种可扩展性，需要在存储架构上做出调整。传统存储在实现上通常采用紧耦合的设计架构，不管是NAS还是SAN，常用的架构是紧耦合双控或者是紧耦合的分布式集群。为了达到达到高性能、高可靠性，传统存储在硬件和软件上都做了很多的定制和优化。在面向大数据存储的系统中，为了达到Scaleout的目的，很难采用传统的紧耦合架构，只能另辟蹊径，做松耦合的分布式架构。在松耦合分布式的过程中，通常就会遇到互连网络的性能瓶颈、集群性能等挑战。特别在采用通用服务器构建这种松耦合系统的时候，这种问题就会变得尤为突出。目前，可以解决这些问题的技术有网络端的RDMA，存储端的SSD技术。

ImapBox：闪存如果想替代传统的以磁介质为主的磁盘阵列,您觉得最大的阻力有哪些,这些方面今天的发展情况如何?

吴忠杰：在主存储领域，闪存替代磁介质是不可阻挡的趋势，目前最大的阻力我认为有几个方面：第一是闪存自身的成本；第二是支持闪存应用的软件解决方案。应该说成本是目前闪存大面积应用的最大阻力，但是随着闪存出货量的增加，闪存本身的成本一直在飞速下降。毕竟闪存是半导体材料，用量越大，成本越低。所以，我认为价格虽然是眼前的问题，但是最终将不是一个问题，只是一个时间问题。软件解决方案是我目前看到的一个迫切需要解决的问题。目前，NAND Flash厂商、SSD厂商和服务器厂商都在大力推动SSD的落地，唯独在软件解决方案这一块还存在缺失，尤其在NVMe高速存储软件这一块。为了解决这个问题，更好的将整个闪存生态链串起来，我们Memblaze推出了一系列针对高速存储的软件系统，例如FlashRAID。通过这些软件可以很好的解决SSD与用户之间的应用鸿沟问题。

ImapBox：从过去的PCIe到今天的NVMe,SSD的发展历程是怎样的,NVMe的优势在哪里?

吴忠杰：PCIe SSD是一种私有协议的SSD，如果采用PCIe SSD，那么厂商还需要提供自己特定的驱动软件。而NVMe SSD是一种具有标准协议的SSD，采用这种标准之后，SSD厂商就不再需要提供特殊的驱动程序了，这种标准的驱动程序在操作系统层面都已经提供了，是一种通用的软件。NVMe SSD提出来之后就标准化了原有的PCIe SSD。从技术演进的角度来看，一开始PCIe SSD是采用Host Based技术架构，将管理Nand Flash的核心软件FTL运行在Host端，这样会占用大量的CPU以及内存，其典型的代表厂商时FusionIO。当NAND Flash嵌入式控制器性能上来之后，FTL被放在了SSD内部，即Device Based的技术架构，和Host based架构相比，Device Based技术架构更加适合应用的需求，是技术发展的必然。NVMe标准就是基于这种Device Based的技术架构。除了PCIe/NVMe SSD之外，还有一类SSD是差别比较大的，那就是SATA、SAS SSD。和NVMe SSD相比，SATA/SAS SSD存在接口层面的瓶颈点，不能充分发挥NAND Flash的性能优势。未来会属于NVMe SSD，尤其在高性能存储这一块，其最大的优势就在于标准化和高性能。今年初我们Memblaze也发布了第四代SSD产品，符合NVMe1.1标准的Pblaze4。Memblaze是第一家提出Device Based PCIe SSD的厂商，到目前为止，又推出了符合国际标准的NVMe SSD，符合市场和技术发展的潮流。

ImapBox：NVMe SSD作为一种高速存储介质在大数据环境中应用，还需要解决哪些问题?

吴忠杰：NVMe SSD是一种高速存储介质，在大数据环境下应用，还需要解决软件和系统层面的问题。目前基本所有的存储软件都是面向低速介质的，是面向磁盘问题而设计的。这种软件或者系统如果直接在SSD上应用，那么就会产生很多问题，不仅没有解决SSD本身的问题，反而引入了很多诸如写放大等问题。所以，传统面向磁盘的软件不能直接在NVMe SSD上进行应用。NVMe SSD作为一种高速存储介质，在整个系统已经不是IO性能瓶颈点，性能瓶颈已经转移到CPU、网络端。要充分发挥NVMe SSD的价值，那么需要重新设计、优化存储软件。只有有了成熟的面向NVMe SSD存储软件之后，才可以将NVMe SSD大规模的部署到大数据环境中去。在面向大数据应用的NVMe SSD存储软件、系统方面，我们Memblaze也做了大量工作，在今年8月份北美的FMS会议上，我们展出了真正意义上全球第一款NVMe Array，并且提出了针对NVMe高速存储的RISL软件架构，赢得了不错的反响。在该系统中，1U单存储节点可以达到百万IOPS，并且可以保持一致的低延迟。在未来，我们预计闪存会大量的在数据中心、大数据环境中应用，不仅作为缓存使用，而且作为主存使用。在这种情况下，就需要一种松耦合分布式闪存架构，构建闪存池，满足大数据应用过程中的高性能、低功耗、大容量等需求。我们也在这个方向上持续做更多的工作。

ImapBox：为了提高SSD存储数据的可靠性,可以用哪些创新方法和技术?

吴忠杰：提高SSD存储数据可靠性的基本思路就是做冗余，具体方法有采用硬RAID、软RAID或者在应用端通过多副本的方式做数据冗余。在现有条件下，我们可以采用硬RIAD、软RAID的方式对SATA SSD进行数据保护，虽然这些传统RAID对SATA SSD不够友好、性能低，但至少还是可以用的。但是，对于高速存储介质NVMe SSD而言，情况就完全不同了。硬RAID和软RAID都没有办法直接在NVMe SSD上进行部署。原因很简单，NVMe SSD性能太高了，加上一层RAID之后，性能根本没有办法发挥出来，性能瓶颈点完全在RAID上，这是最大的问题。所以，针对NVMe SSD需要创新的技术和方法为高速存储介质提供数据保护服务。为此我们Memblaze研制了针对NVMe SSD的数据保护和存储管理系统FlashRAID。在FlashRAID中有很多创新的方法和技术，例如为了充分发挥SSD的使用寿命，我们在SSD盘之间做了Global Wear-leveling；为了避免多盘同时发生故障，我们采用了Anti-wear leveling算法；为了充分发挥CPU的效率，我们提出了无锁IO处理模型；为了加快数据重构速度，我们采用了智能数据重构算法。多种创新技术的应用造就了FlashRAID，这是全球首款针对NVMe高速存储介质的数据保护、存储管理系统。

第九届中国大数据技术大会将于2015年12月10-12日在北京隆重举办。在主会之外，会议还设立了16大分论坛，包含数据库、深度学习、推荐系统、安全等6大技术论坛，金融、制造业、交通旅游、互联网、医疗健康、教育等7大应用论坛和3大热点议题论坛，票价折扣中预购从速。

本文为ImapBox原创文章，未经允许不得转载，如需转载请联系market#csdn.net(#换成@)