新浪科技讯 5月16日晚间音信,在本日的华为云AI峰会上,华为云副总裁黄瑾发表主题演讲,先容了更多CloudMatrix 384超节点时刻上风与细节。他指出,跟着大模子稽查和推理对算力需求的爆炸式增长,传统狡计架构已难以撑抓AI时刻的代际跃迁,超节点架构的出身不仅是时刻的残害,更所以工程化立异开拓AI产业的新旅途。
现时,大模子稽查资格了从早期小模子在单卡稽查、小参数大模子在单机稽查,到咫尺MoE、长序列、多模态大模子齐在AI集群上稽查的演进经由。AI算力的瓶颈,从单卡算力的瓶颈到单机内总线带宽的瓶颈,再到咫尺集群间通讯带宽的瓶颈,需求增长了1万倍。但是往常的8年里,单卡硬件的算力增长了40倍,但是节点内的总线带宽只增长了9倍,跨节点的网罗带宽只增长了4倍,这使得集群网罗通讯成为现时大模子稽查和推理的最大挑战。
黄瑾暗意,濒临这些挑战,华为云推出了给与全平等互联架构的CloudMatrix 384超节点。这项时刻立异跳出单点时刻铁心走向系统性、工程性的立异算力架构,直面通讯效果瓶颈、内存墙制约、可靠性短板三大时刻挑战。通过新式高速互联总线完结384张卡互联成为一个超等云行状器,最高提供300Pflops的算力限制,比业界同类产物相当67%。
咫尺,基于CloudMatrix的超节点集群依然在芜湖、贵安、内蒙限制上线,黄瑾先容,华为云CloudMatrix 384超节点具备MoE亲和、以网强算、以存强算、长稳可靠、朝推夜训、即开即用六大时刻上风,以系统架构立异从头界说新一代AI基础要津。
黄瑾强调,华为云超节点立异系统架构的背后,是华为云坚抓“昇腾云行状支抓百模千态,盘古大模子重塑千行万业”的策略。一直以来华为云抓续鼓励昇腾AI云行状全面升级,通过打磨昇腾云的稽查、推理的性能、可靠性和性价比,为中国乃至环球客户提供好用、易用的AI算力云行状。现已全面适配了DeepSeek在内的160多个大模子,以云行状的边幅,协助客户进行模子的设立,稽查,托管和利用。昇腾AI云行状上线以来,面向政府、金融、零卖、互联网、交通、制造等行业依然行状六百多家立异前锋企业,加快行业智能化利用的快速落地。
包袱剪辑:刘万里 SF014