首页>> 企业>>新闻详情

国家超级计算济南中心:100PB级存储、TB级带宽,打造中国最大全闪超算中心标杆

2021-11-02 13:53  《4PS呼叫中心国际标准研究中心》  咨询电话:17317241681(微信同号)  


  随着云计算和大数据时代的来临,数据处理技术得到越来越广泛的运用。面对未来数字化转型之路的新机遇与新挑战,国家超级计算济南中心(下称“济南超算”)与华为深度携手合作,给AI时代装配了“新大脑”,华为OceanStor全闪存的加持让超算界皇冠更加闪耀。


  HPC与AI、大数据走向融合,HPDA应运而生


  5G、云、AI等新ICT技术的快速发展使视频、图片等数据呈指数级增长,从数据增长轨迹中可以预测到,未来几年数据量将达到百ZB的水平,从而促使HPC行业从计算驱动演进为数据驱动。回首过往15年以来HPC存储增长的多种驱动因素,可以发现它与AI、大数据的飞速发展密不可分,进而催生出以数据分析生态为主的HPC解决方案,并在多个至关重要的科学领域中得到应用,如计算科学建模和数据分析。计算科学建模和数据分析两个生态在解决方案和技术上的融合是加速科学发现的关键因素。在此背景下,高性能数据分析(HPDA)应运而生并迅速发展。


  从计算到数据,是HPC市场发展的必然。从传统HPC建模/仿真应用向新的HPDA/AI/ML/DL应用演进,其主要特点是从计算密集型负载向数据密集型负载转变,有助于研究人员、工程师和业务数据分析师从最佳性能的HPC基础设施中,更快地获取研究结果并对其进行分析总结。


  HPDA/AI的快速发展推动着传统HPC建模/仿真应用不断转型升级,然而HPDA/AI/ML/DL技术所产生的数据越来越多,给现有HPC存储生态系统带来巨大压力,要解决和优化这两种类型的负载,就要高度重视并大力建设HPC存储基础设施。


  科技强国政策的背景下,我国开始大力发展和推进HPC事业,建立隶属于科技部的国  国家超级计算济南中心发展势头迅猛,构建引领全球科技发展的“最强大脑”家超级计算中心,用于发展高性能计算相关产业与应用。截至2021年,科技部批准建立了国家超级计算济南中心、国家超级计算天津中心、国家超级计算深圳中心等八所国家超级计算中心。


  目前,济南超算正在主导山东省“超级计算大科学工程”,研制建设全球算力领先的新一代超级计算机,通过根植山东、覆盖全国、辐射全球的超算互联网建设,构建“E级超算、人工智能、大数据、工业互联网”等大科学装置集群,形成国际一流的“超算大脑”,力争成为推动国家基础科学进步和重大技术攻关,助力山东省走在“新动能”的最前沿。


  面对挑战,济南超算积极追求HPC存储架构转型


  人工智能、大数据等新型应用进入到超算科研领域,推动济南超算改革创新发展,由单一计算服务向计算加多元数据处理服务转变。
  济南超算在创新改革中,正在面临如下变化与挑战:
  • 首先,数据量的激增带来传输与存储成本的挑战。数据量的激增主要有两个原因:一是参与计算的原始数据不仅多且杂;二是数据多环节处理计算带来数据的过度膨胀。伴随着人工智能和大数据等新兴产业的爆炸式增长,超算需要处理更多数据,既有结构化数据又有非结构化数据,而在线传输这些数据可能需耗费数周,拷贝TB-PB级数据时更是要耗费数月,这些都是超算中心在转型过程中无法规避的难题。
  • 其次,存储资源抢占导致整体计算效率不高。当前多数超算场景为多任务、多并发计算,一些作业对带宽要求很高,另一些对IOPS要求高,多任务并发造成存储资源抢占,则会导致整体计算效率被拉低。例如生命科学作业等大带宽类作业增多时,整个计算效率会变得非常缓慢,从而影响整个超算中心的作业效率。
  • 此外,济南超算业务在与传统数据中心类业务融合过程中,也面临着数据管理及数据孤岛的挑战。在提供如人工计算、大数据、虚拟化和灾备等多元化服务时,面对万级用户群体及各种数据形式的读写(如文件存储、虚拟化的块存储、AI的对象存储、大数据的HDFS存储等),都会增加管理难度,且数据间易呈现割裂的孤岛状态。如何让数据流动起来进而促进跨域创新,是济南超算急需解决的问题。

  济南超算携手华为OceanStor全闪存,打造标杆级新型超算中心


  华为OceanStor全闪存超高性能、超高吞吐量满足多平台、多类型作业需求,为济南超算发展降本增效。为满足济南超算的HPC平台、AI平台及云平台各集群间存储需求的差异性,平台规划建设存储系统容量220PB,涵盖高性能存储系统、对象存储、块存储、NAS存储,可满足各类应用对存储的需求。其中高性能文件存储系统配套的全闪存储系统容量15PiB。华为OceanStor全闪存凭借TBps级带宽,千万级IOPS超算主存系统,完全能满足超算综合场景高带宽及高IOPS等性能需求,提升业务效率,加速业务创新,整体带宽超1000GB/s,有效解决资源抢占拉低整体作业效率的问题。同时,采用数据图像压缩算法,进一步提升了存储空间的利用率,大大降低了海量数据的存储成本,为超算中心的持续发展降本增效。


  华为OceanStor全闪存绿色节能,科技助力“碳达峰”。无论是基于国家政策的导向,还是超算中心降本增效的考量,绿色节能已逐步落地到生产和经营的方方面面。在数据中心层面,采用华为OceanStor全闪存是理想的解决方案,可以极大缩减数据中心空间和能耗的开支,由此带来的高资源利用率和高成本效益是驱动全闪存系统出货量增长的重要因素。


  华为和客户联创主存、对象存储等系统间数据流动方案,解决客户数据存储难题。华为OceanStor全闪存已经充分适配并能高效支撑起超算业务,面向未来的合作层面,济南超算与华为成立了存储创新中心,在数据流动、数据服务、和数据安全等方面展开深入研究并孵化产业;面向超算领域层面,济南超算与华为提供了技术创新方向和解决方案,共同打造全球领先的智能数据与存储的示范点、产业基地。依托华为OceanStor存储存算占比1:1.5的数据流动方案,济南超算将具备国内HPC领域容量最大、性能最高的全闪存阵列集群,可以解决济南超算当前面临的块、对象、文件互访难题,打通数据流通,促进数据跨域创新,为济南超算未来创新业务探索持续助力。华为提供API接口并联合济南超算共同定制开发,实现基于数据流动任务和策略,实现数据流动的服务化和可视化。华为与济南超算共同基于客户数据属性标签化进行定制开发,实现数据流动的安全管理。



  业内人士认为,华为与济南超算合作是一个典型的标杆案例,济南超算之所以选择华为OceanStor全闪存,与其高效、节能的端到端超算存储解决方案和技术创新能力密不可分。华为OceanStor全闪存具备敏捷性、高效率、可用性、安全性、面向云业务的适配性等特点,同时基于业界领先的技术和架构,与我国全面推动的“新基建”战略高度契合。此外,华为OceanStor全闪存高密度、低功耗的特点可以显著降低超算中心PUE,赋能济南超算完成HPC存储架构转型升级,加速产业生态创新发展,以“超算速度”助推济南超算成为全球超算中心的领跑者。




共0条评论网友评论
  • 全部评论
共0条记录(共页)
向您推荐

新闻 按行业分类

厂商 按产品分类


        
总机:021-51601170 直线:021-58307717,17317241681(微信同号) 电子邮件:cct@51callcenter.com  泸ICP备10026114号-4  行业交流俱乐部QQ:2919157212
地址:上海市浦东新区牡丹路60号东辰大厦810室  邮编:201204 上海趋天网络技术服务有限公司 版权所有(2002-2018)