2月4日,騰訊混元AI Infra團隊正式推出開源生產(chǎn)級高性能LLM推理核心算子庫HPC-Ops。騰訊混元稱,在真實場景下,基于HPC-Ops,混元模型推理QPM提升30%,DeepSeek模型QPM提升17%。同時,在單算子性能方面,HPC-Ops實現(xiàn)Attention相比FlashInfer/FlashAttention最高提升2.22倍;GroupGEMM相比DeepGEMM最高提升1.88倍;FusedMoE相比TensorRT-LLM最高提升1.49倍。
騰訊混元AI Infra核心技術(shù)開源
界面快報 · 來源:界面新聞
騰訊
5.3k
- 騰訊元寶澄清:不存在“靜默監(jiān)控”、“默認開啟AI”、“自動舉報”情況
- QQ經(jīng)典農(nóng)場2月6日正式回歸,曾創(chuàng)下同時在線人數(shù)1.2億紀錄
評論
暫無評論哦,快來評價一下吧!
熱門排行February 05
- 事關(guān)隱藏式汽車門把手,強制性國家標(biāo)準將于明年1月起實施
- 2月制造業(yè)PMI有望回升,力度受節(jié)后復(fù)工節(jié)奏與外需影響|宏觀晚6點
- 直通部委|去年1.49萬戶失信企業(yè)被列入“黑名單” 我國嚴重犯罪呈持續(xù)下降趨勢
- 海南省人大常委會原副主任肖杰被查,曾任“中國最大地級市”市長
- 事關(guān)外商投資、擴大進口,商務(wù)部回應(yīng)多個熱點話題
- 不當(dāng)點評特斯拉潮州事故,智己汽車聯(lián)席CEO劉濤道歉
- 中方領(lǐng)導(dǎo)人將于今年年底訪問美國?外交部回應(yīng)
- 俄總統(tǒng)助理稱普京擬于今年上半年訪華,外交部回應(yīng)
- 日本強降雪已致300多人死傷,中國大使館多次提醒避免前往
- 海南島內(nèi)居民消費進境商品將享“零關(guān)稅”,每人每年免稅額度1萬元