中国移动研究院从2007年开始进行云计算的研究和开发,是最早介入云计算研发和实践的企业之一。2009年,中国移动研究院正式对外公布了正在研发和试验的平台“BigCloud——大云”,并以此提升中国移动未来在移动互联网方面的信息服务能力,2009年9月,在中国移动研究院内部发布了大云(Big Cloud 0.5)版本,供内部试用,Big Cloud 1.0版本将在2010年第二季度发布。经过3年多的努力,中国移动研究院在开源软件基础上自主开发的“大云”系统已实现分布式文件系统、分布式海量数据仓库、分布式计算框架、集群管理、云存储系统、弹性计算系统、并行数据挖掘工具等关键功能(详见下图)包括:
中国移动Big Cloud体系
分布式文件系统。为保证高可用、高可靠和经济性,采用分布式冗余存储的方式来存储数据,以高可靠软件来弥补硬件的不可靠。
分布式海量数据仓库。采用列存储的数据管理模式,保证海量数据存储和分析性能。
分布式计算框架。采用MapReduce并行编程模式,将任务自动分成多个子任务,通过Map和Reduce两步实现任务在大规模计算节点中的调度与分配,保证后台复杂的并行执行和任务调度向用户和编程人员透明。
集群管理。使大量的服务器协同工作,方便地进行业务部署和开通,快速发现和恢复系统故障,通过自动化、智能化的手段实现大规模系统的可运营、可管理。
云存储系统。利用“大云”平台存放、管理用户的文件(如:照片、视频,文档等),根据企业用户和个人用户的不同使用方式,提供多种便捷的文件获取方式,同时支持用户之间的文件共享。
弹性计算系统。使用开源Xen、KVM提供计算资源的虚拟化,通过对计算资源、网络资源和存储资源进行集中管理和调度,并与用户自服务流程进行管理整合,提供弹性计算服务。
并行数据挖掘工具。基于“大云”的并行数据挖掘工具库,提供基于SaaS的数据挖掘服务,支持高性能低成本的商务智能应用开发。
中国移动在2007年初利用闲置的15台PC服务器,基于开源软件搭建了海量数据处理试验平台,并成功运行搜索引擎软件。2008年底,中国移动进一步建设了 256台PC服务器、1000个CPU Core、256TB存储组成的“大云”试验平台,结合现网数据挖掘、用户行为分析等需求进行了应用试点,在提高效率、降低成本、节能减排等方面取得了极为显著的效果。2009年底,中国移动“大云”试验平台进一步扩容,达到1000台服务器、5000个CPU Core、3000TB的存储规模。
为了尽快抓住产业发展契机,中国移动正式将云计算确定为公司战略发展的重要方向之一,并积极从内外着手,推动云计算在国内外的推广和应用。同时在加紧联合产业链各环节的尝试推动大云在中国移动的应用落地试验和推广。“我们希望这个大云的计划能够为我们中国的云计算工业、能够为云计算专家委员会准备建立的中国传统公共云提供有效的贡献。”中国移动通信研究院院长黄晓庆说。中国移动作为“移动信息专家,希望利用云计算平台成为信息服务的供应商,同时,中国移动本身也是云计算的使用者”。
不仅如此,中国移动还积极推动Hadoop开源及云计算标准化,紧密关注国际云计算组织,积极通过参与国际组织的工作,来引领云计算技术发展方向及国际标准。2009年6月,中国移动派出代表参加了云计算国际顶级会议Hadoop Summit 2009,并在会上发表了《通信企业并行数据挖掘》(Parallel Data Mining in Telecom)技术报告,引起业界的极大关注。
Big Cloud研发大事记:
2007年3月,确定了大云(Big Cloud)计划,即中国移动研究院为打造中国移动云计算基础设施而实施的关键技术研究及原型系统开发计划
2007年7月,利用闲置的15台PC服务器,基于开源软件搭建了海量数据处理试验平台,并成功运行搜索引擎软件
2008年10月,建立256节点的大规模运算实验室,并运行数据挖掘工具和相关应用
2009年9月,Big Cloud 0.5版本在中国移动研究院内部发布试用
2009年12月,试验平台进一步扩容,达到1000台服务器、5000个CPU、3000TB的存储规模
2010年5月,Big Cloud 1.0版本发布