ChatGPT的火热,再度点燃了人工智能赛道,但作为典型的大模型训练场景,以ChatGPT为代表的AI应用的蓬勃发展,也催生出极高的算力需求。根据相关统计,训练GPT-3大模型的总算力消耗约为3640PF-days,这背后大约是285000个CPU、10000个GPU和每秒400G的网络所产生的强大算力。
ChatGPT如此大规模、长时间的大模型训练,对算力、网络底座的性能、成本等方面都提出了极致要求。作为数字化解决方案领导者,紫光股份旗下新华三集团持续深耕人工智能领域,在新华三看来,大模型训练需要跨越巨量AI算力、网络通信延迟以及高能耗三道门槛,新华三基于硬件使能、前瞻技术、绿色低碳等全方位能力,助力人工智能模型训练突破算力、网络等方面的瓶颈,加速推进人工智能产业的高质量发展。
软硬件全栈实力 助力算力基础设施提质升级
在底层硬件算力支撑上,新华三集团服务器产品可覆盖从AI训练到推理的全场景,以面向ChatGPT这类大规模AI训练场景的GPU服务器H3C UniServer R5350 G6为例,基于AMD Genoa平台实现了90%的CPU性能提升和50%的内核数量提升;支持GPU/NPU/xPU等多种人工智能加速卡,可应对人工智能不同场景下对异构算力的需求。此前,新华三GPU服务器在MLPerf™国际权威AI基准性能竞赛中,一举夺得BERT-large(自然语言处理)、DLRM(推荐)等模型测试86项世界第一,在单线程模式下,BERT推理时延仅为1.53毫秒,可大幅减少训练时间,实力诠释了其对于大规模、多元化、高复杂度AI场景的支撑能力。在2023年上半年,新华三还将发布基于Intel Eagle Stream平台的GPU服务器R5300 G6,敬请关注。
此外,面对AI作业调度、集群管理等难题,新华三集团推出智能算力中枢,为人工智能提供全场景的算力调度,实现了智能标注、智能匹配、智能训练、智能调优、智能推理五维智能的AI开发全流程支持,全面提升AI作业效率达32%,加速数据中心业务腾飞。
除了复杂的大模型训练场景,对于刚刚踏入AI领域的用户,新华三集团也面向广大AI开发者,免费开放H3C小智AI实验室,让用户体验真实的AI训练全流程。以小智AI实验室的问答机器人模型为例,问答机器人基于BERT模型,与ChatGPT同属于基于Transformer架构开发出来的NLP场景大模型,用户只需简单几步,即可在小智AI实验室训练和部署专属的问答机器人,了解问答机器人背后的技术原理。
让网络设备参与计算 提升分布式计算效率
与此同时,随着GPU算力的不断增长,网络通信能力日渐成为人工智能模型训练成熟发展的瓶颈,数据显示,过去5年GPU算力增长近90倍,而网络带宽仅增长10倍。受网络通信能力的限制,分布式集群的运算效率无法随其规模线性增长。
作为算网融合核心技术之一的“在网计算”技术,通过让网络设备参与计算,成为提升机器学习效率、突破集群计算效率瓶颈的有效解决方案。在网计算是通过在网络中部署对报文进行解析的算力,将部分计算任务从主机侧迁移至网络侧,由交换机、路由器、智能网卡、DPU等设备或部件完成计算加速的技术。在不改变业务原有运行模式的前提下,在网计算能够减少计算节点之间的消息交互,降低通信延迟,从而提高网络带宽利用效率,加速HPC和AI分布式计算效率。
基于在网络和计算领域深厚的技术积淀,新华三集团主动担起在网计算技术的产业化探索职责,快速在网络设备端完成研发落地,推出了全面支持在网计算的H3C P4可编程交换机,将有效解决HPC和AI分布式计算的集合通信问题,为提升数据中心的集群规模带来了新的方案和思路,同时也将进一步加速算网融合“网络计算化”演进,推动网络从连接算力到感知、承载、调配算力的角色升级,助力算网融合纵深发展。
平衡高速传输与低功耗 以CPO技术助力绿色数据中心建设
面对ChatGPT等高算力场景,网络作为关键基础设施支撑也正在向高带宽、低功耗、低时延方向优化演进。从底层技术来看,高速传输与低功耗之间的平衡是永恒的难题。基于能效和成本的考虑, CPO(Co-packaged optics,共封装光学)技术站上风口,成为炙手可热的高能效比解决方案之一。
CPO是指将光模块和交换芯片共同封装在同一个插槽上,形成芯片和模组的共封装,交换芯片和光模块间信号传输距离的缩短,显著提高了高速电信号的传输质量,能够解决信号高速传输和降低功耗的平衡难题,满足ChatGPT等高算力场景下网络高带宽、低功耗、低时延、小体积的需求。
作为网络进化和变革的引领者,新华三集团前瞻布局CPO技术,于2022年正式发布了400G硅光融合交换机,全面支持2.5D CPO技术(即NPO硅光技术)。相比传统的400G交换机,其交换容量可平滑升级到51.2T,单端口功耗可降低40+%,高性能网络支撑高算力需求,加速算力的释放,助力绿色数据中心建设。
从计算到网络,从硬件到软件,新华三集团以全栈技术实力赋能AI产业加速创新。面向AI新时代,新华三将继续秉持“内生智能”的技术理念,为人工智能的发展提供更强大的AI基础设施,打造更坚实的算力底座,以全面深化的智能驱动数字经济高质量发展。
成都H3C服务器代理商 - 成都强川科技有限公司,专注企业IT服务需求,产品可按需定制。主营:华三服务器、H3C服务器、,以专业的IT解决方案和优质的服务体验赢得企业信赖。QQ:2851150694;服务热线:028-85024766 18215624006(微信同号)
H3C 是中国一家 IT 设备供应商,包括 HPE 服务器、存储和相关技术服务。它由 HPE 持有 49% 的股份,其余由总部位于中国的 IT 服务公司 Unisplendour Corporation 持有,此前 HPE 在 2015 年以约 23 亿美元的价格出售了它的控股权。
2022年5月20日,紫光股份旗下新华三集团打造的ICT全栈式商城——新华三商城正式上线并取得规模应用一周年,为客户和合作伙伴提供全方位数字化和信息化服务,助力百行百业的数字化转型之路更加简单高效。
H3C UniServer R6900 G3服务器是新华三自主研发,基于英特尔Skylake至强平台的4U四路机架式服务器,由两个二路计算模块通过机箱中置背板交互组成,该服务器适用于云计算、分布式存储和视频存储等业务,适用于企业基础和电信业务应用,具有计算性能高、存储容量大、功耗低、扩展性强和可靠性高等特点,易于管理和部署。
山东未来集团有限公司(以下简称“山东未来集团”)总经理刘运尧一行到访紫光股份旗下新华三集团杭州总部参观交流。在新华三集团副总裁、首席科学家李立的陪同下,刘运尧一行先后抵达新华三创新体验中心及新华三未来工厂,全面了解了新华三在技术创新、产业升级等方面的突破与实践,并就双方进一步深化合作进行了深入交流。
具有算力强、可靠性高、灵活扩展性强、易管理,易部署等优点,可广泛应用于虚拟化、云计算、高性能计算,人工智能等场景。
全新一代H3C UniServer R4900 G5通过多达32个NVMe SSD1的支持,以及M.2 SSD形态的引入,进一步增强了面向现代数据中心的扩展能力和配置灵活性。
可广泛应用于互联网、云计算、IDC(Internet Data Center,互联网数据中心)、企业市场、运营商等场景,R4950 G5具有低功耗、高可靠、灵活扩展性强、易管理,易部署等优点。
H3C UniServer R4700 G5,新华三集团自主研发的全新一代高性能1U2路机架式服务器,以卓越的性能和完美的可扩展性满足市场的需求。
H3C UniServer R4900 G3,通用型2U双路机架式服务器,面向不同业务负载平衡性能、扩展力及安全可靠等特性,显著提升数据中心生产力。
新华三H3C UniServer R4700 G3,高性能1U2路机架式服务器,满足数据中心对性能、能效和密度之间平衡的严苛要求,是高密度工作负载的理想选择。
新华三H3C UniServer R2900 G3,可满足轻量级业务部署需求的入门级2U双路机架服务器,凭借灵活弹性的配置保护企业IT投资
新华三H3C UniServer R2700 G3,入门级1U2路机架式服务器,满足成长型客户对主机性能以及经济性合理平衡的要求。
具有计算性能高、存储容量大、扩展性强和可靠性高等特点,在HDM、iFIST、FIST服务器管理系统的加持下,具有易于管理和便于部署的优点。
具有计算性能高、存储容量大、扩展性强和可靠性高等特点,在HDM、iFIST、FIST服务器管理系统的加持下,具有易于管理和便于部署的优点。
H3C UniServer R6700 G3,4P2U机架服务器,采用高密度架构设计,提供4路高性能计算能力,在2U机箱内实现高度的可伸缩性和可靠性。
该产品具有卓越性能、重塑架构、扩展性强和可靠性高等特点,可应用于深度学习模型训练、深度学习推理、高性能计算、数据分析等多种应用场景
该产品具有计算性能高、存储容量大、扩展性强和可靠性高等特点,易于管理和部署,可应用于深度学习模型训练、深度学习推理、高性能计算、数据分析等多种应用场景。
H3C UniServer R5500 G5支持全新的多实例GPU特性,可将单颗GPU最多分割成7个GPU实例,每个GPU实例可运行不同应用,极大提升了GPU的资源利用率。
H3C UniServer R5300 G3是面向人工智能和高性能计算领域自主研发的全新一代GPU服务器,可以加速深度学习模型建造,以极快速度分析数据并导出有价值信息。