本网页所有文字内容由 imapbox邮箱云存储,邮箱网盘, iurlBox网页地址收藏管理器 下载并得到。
ImapBox 邮箱网盘 工具地址: https://www.imapbox.com/download/ImapBox.5.5.1_Build20141205_CHS_Bit32.exe
PC6下载站地址：PC6下载站分流下载
本网页所有视频内容由 imoviebox边看边下-网页视频下载, iurlBox网页地址收藏管理器 下载并得到。
ImovieBox 网页视频 工具地址: https://www.imapbox.com/download/ImovieBox4.7.0_Build20141115_CHS.exe
本文章由: imapbox邮箱云存储,邮箱网盘,ImageBox 图片批量下载器,网页图片批量下载专家,网页图片批量下载器,获取到文章图片,imoviebox网页视频批量下载器,下载视频内容,为您提供.
OpenStack正在成为事实上的IaaS标准，其本身的设计架构赋予了其高度的可扩展性。尽管如此，在千节点量级的大规模部署中，仍然有许多因素决定了实际实施中需要在整体架构和细节优化上进行多方面的尝试与探索。本文分享在天河二号千节点规模上进行大规模部署的实践经验，并介绍团队在基于OpenStack构建企业级解决方案KylinCloud上所取得的进展。 随着本身不断的成熟及在多个生产环境中的成功应用，开放、开源的云服务平台OpenStack正在成为事实上的IaaS标准。在其官方的介绍中，易于实施（Simple to Implement）、高可扩展（Massively Scalable）和特性丰富（Feature Rich）是主要的特色，这得益于OpenStack本身松耦合的架构设计、活跃且强有力的社区贡献和不断成熟的生态圈。 然而，需要管理数据中心千以上的物理节点时，如基于OpenStack构建公有云，如何发挥OpenStack的可扩展性优势提供稳定、高效的服务，仍然有许多因素需要考虑，其主要的挑战主要来自以下两个方面：OpenStack大规模部署所遭遇的挑战
在世界超算Top500排名中取得四连冠的天河二号已经于2014年初部署在国家超算广州中心并对外提供服务。与已有超级计算机系统的一个重要区别是，天河二号不仅仅定位在高性能计算，而是通过异构多态的体系结构设计与实现，期望能够为广州市、广东省甚至更大范围的政府部门和企事业单位的信息化建设和大数据处理提供强有力的资源支撑。
图1 天河二号
为了满足信息化和数据处理类应用对按需、弹性计算资源的需求，天河二号的软件体系中融合了当前不断成熟与普及的云计算模式。经过比较与测试，研发团队选取了具有良好扩展性和社区基础的OpenStack作为软件栈的组成部分。本文再现了在天河二号千节点规模上进行OpenStack大规模部署的一次试验。
在开始之前，简单介绍一下此次部署的软硬件配置。
硬件：天河二号定制刀片，每个节点配有双路12核CPU，64GB内存，两块千兆网卡、一块THNI高速网卡以及一块1TB的SATA本地硬盘；
软件的具体版本信息如下：
为了实现OpenStack千级节点的部署，经过调研和尝试，在确定其架构时确定了如下五个重要的选择：
使用Cell进行逻辑划分。OpenStack中使用Cell来解决可扩展性和规模瓶颈，实现对横向扩展和大规模部署的支持。Cell在Grizzly版本引入，并不断成熟。前面提到，OpenStack由多个松耦合的组件构成，当达到一定的规模后，某些模块将成为整个系统的瓶颈。Cell以树型结构为基础，主要包括根Cell（API-Cell）与子Cell（ Child-Cell） 两种形式，子Cell可以嵌套。根Cell 运行 nova-api 服务，每个子Cell 运行除 nova-api 外的所有 nova-*服务以及nova-cells服务，并具有自己的数据库和消息队列、数据库。同时，树形结构引入了分级调度的概念，即调度某个虚拟机的时候先要进行Cell的选择，可以有多种调度策略。父Cell会将消息路由到子Cell的消息队列，同时，子Cell定时的将自己的资源信息上报给父Cell，用来给分级调度策略提供决策数据和基于Cell的资源监控，Cell之间的通信通过rpc完成。
采用无盘方式部署系统。由于节点规模庞大，同时存在一定的故障率，为了提高部署效率，减轻系统维护与软件包升级的开销，全系统采用无盘方式部署。将OpenStack相关的包与操作系统定制为一个镜像，节点重启时会自动从无盘服务器拉取镜像。同时，镜像中打入了一些自动化的脚本用于完成基本的环境配置，如初次启动时的硬盘分区、IP地址和hostname的确定与写入、无密码SSH等。
采用Puppet实现节点服务的自动好配置。以无盘的方式部署系统后，各个节点可以看作是同质的。为了实现对OpenStack各个服务的配置，使用Puppet来完成各个配置文件、配置项的设置以及服务的启动。首先定义每个节点的角色，并为每个角色与角色之间的关系定义相应的配置脚本，进行配置时，每个Puppet 客户端会到服务器端去获取自己的角色和相应的脚本，然后加以执行。
使用Ceph RBD卷作为统一的存储后端，实现镜像存储、逻辑卷和虚拟机启动（Boot-from-Volume）。采用分布式存储Ceph主要基于三方面的考虑：一是Ceph架构本身具有的可扩展性、可靠性与高性能，同时其RBD功能已经相对成熟；二是实验环境的每个节点都具有一块1TB的SATA盘，在不考虑使用成本较高的集中式存储的前提下，使用Ceph把这些本地盘利用起来具有相当大的吸引力；三，尤为重要的是，Ceph一直与OpenStack保持良好的合作关系，能够很好的支持OpenStack多个组件对存储后端的支持。另外，统一采用Ceph RBD卷作为存储后端，能够实现低开销的虚拟机迁移并降低对空间的使用率。
管理网、业务网与存储网络分离。即充分使用每个节点的三块网卡，两块以太网卡分别用于管理网络和虚拟机业务网，THNI高速网用于Ceph，实现网络的流量隔离，并提高存储的访问带宽。
基于以上考虑，在实际部署方案中，采用了如下的部署架构：
1. 128个控制节点，包括：
2. 8个Cell的计算节点，每个Cell包含128个节点，包含2个Cell Server节点（运行除nova-api之外的nova-*服务、nova-cells、消息队列和数据库）和126个计算节点，每个计算节点同时运行ceph的osd服务。
大致的部署图如下：
图2 千节点规模部署的拓扑图
在系统部署完毕之后，为了适应管理和调度物理节点和虚拟机的需要，需要针对相关的服务进行参数调优，在此给出主要的一些配置。
1. 在多个物理节点上配置各类*-api服务，并进行负载均衡，主要包括nova-api、cinder-api、glance-api等，用于增加请求的响应能力；
2. 为Neutron配置独立的Keystone服务。经观察发现，Neutron需要频繁的认证，为此，为其配置独立的Keystone，但数据库共用，从而保证Keystone的最大并发响应数；
3. 通过开启服务的多进程模式提高响应能力：主要包括两类，一类是设置相关服务配置中的worker的数目，包括Neutron-server中的api_works、nova-api中的osapi_compute_workers、metadata_workers和ec2_workers、nova-conductor中的workers、glance-api和cinder-api中的workers配置项等；第二类是将服务进行Apache托管，使用Apache的多进程机制增加服务能力，主要包括Keystone和Puppet Master两个服务；
4. 服务的性能参数调整，增强每个服务进程的处理能力。
其中Nova涉及到的参数如下：
Neutron涉及到的参数如下：
消息队列Rabbitmq涉及到的参数如下：
MySQL涉及到的参数如下：
另外一些服务适当的放宽其超时时间设置，防止由于规模过大、节点数多引起的超时导致服务无法响应，主要包括两个参数：
最后，在每个节点KVM的配置进行调整，主要包括KSM（重复页去重）、虚拟内存比例调整、使用virtio_blk提高IO性能以及设置I/O的调度策略为Deadline等。
在上述的架构和优化下，实现了对共计1152个物理节点的大规模OpenStack的部署。为了验证此部署的能力，使用测试镜像Cirros、以最小配置（1 vCPU、512MB内存）进行启动虚拟机和查询虚拟机的测试。结果显示，能够一次同时启动的虚拟机的数据为5000个左右，且大部分时间耗费在调度上；每秒可以实现1000个虚拟机的查询操作。后续需要根据分析的性能瓶颈进行进一步的探索与优化。
基于OpenStack打造高效安全的企业云服务平台
在以上部署实践的基础上，天河二号的云平台研发团队深入到OpenStack源代码内部，围绕遇到的问题和需求开发了一系列新特性和大量的Bug修复，并积极反馈给社区。2012年以来团队向社区贡献了大量代码，并在最新的Juno核心组件的代码贡献（commit数目）位居国内第二位。
同时，围绕着充分发挥天河二号的性能优势、为中小企业提供安全、高可用、弹性的高品质服务这一目标，团队基于OpenStack进行了一系列深入的产品化定制与改造，形成了独立的云服务解决方案KylinCloud─麒麟云平台。麒麟云平台采用互联网自助服务的模式，面向企事业单位提供IaaS和PaaS层的IT服务，希望成为小微企业的IT服务的承载平台，并基于此构建完善的IT服务生态环境。
图3 麒麟云平台的特色之处
目前，麒麟云平台已经稳定运行在天河二号上，在用户单位的配合与支持下，已经适配了广州市电子政务中心、广州市萝岗区的若干电子政务系统的部署和运行；同时，作为广东省省级教育数据中心的主要资源池，将为各类教育管理系统提供所需的计算和存储资源，已经部署上线了多个信息管理系统；此外，麒麟云平台已经在为几十家中小企业提供服务，如支持企业客户的信息服务托管以及基于互联网的智能销售等行业服务，又如依托天河二号的强大计算能力为动漫产业提供海量的计算资源，目前正在支持华强、红鹏、创意云等多个用户的渲染业务，其中华强高性能渲染虚拟机集群的最大规模达到千个物理节点规模，已经在支撑其生产系统。麒麟云平台在广州市电子政务和华强文化等单位和企业的成功应用已经验证了其基于天河二号提供云服务的可用性、可靠性和可扩展性，为超级计算机系统的应用开拓了一条崭新的途径。
同时，研发团队也在努力构建面向商用硬件的完整解决方案，面向不同用户、不同应用的需求，提供深度定制、安全、可靠的云服务。此外，麒麟云平台正在与国内著名安全系统解决方案提供商合作，对麒麟云平台的系统安全、平台安全和虚拟机安全进行全方位的定制与增强。
欢迎关注“ImapBox云计算”官方微信了解更多云信息。（责编/仲浩）
更多《问底》内容
《问底》是ImapBox云计算频道新建栏目，以实践为本，分享个人对于新时代软件架构与研发的深刻见解。在含有“【问底】”字样标题的文章中，你会看到某个国外IT巨头的架构分享，会看到国内资深工程师对某个技术的实践总结，更会看到一系列关于某个新技术的探索。《问底》邀请对技术具有独特/深刻见解的你一起打造一片只属于技术的天空，详情可邮件至zhonghao@csdn.net。
本文为ImapBox原创文章，未经允许不得转载，如需转载请联系market#csdn.net(#换成@)
阅读和此文章类似的: 全球云计算
官方软件产品操作指南 (170)
