(網(wǎng)經(jīng)社訊)10月10日，由中科算網(wǎng)科技有限公司、算泥AI開發(fā)者社區(qū)聯(lián)合主編，中國(guó)科學(xué)技術(shù)大學(xué)蘇州高等研究院聯(lián)合發(fā)布的《AI 大模型與異構(gòu)算力融合技術(shù)白皮書》正式發(fā)布。白皮書精準(zhǔn)聚焦當(dāng)前大模型開發(fā)領(lǐng)域的核心痛點(diǎn)，致力于為開發(fā)者提供全面且實(shí)用的技術(shù)參考，助力推動(dòng)大模型與異構(gòu)算力實(shí)現(xiàn)深度融合。
報(bào)告背景顯示，AI大模型參數(shù)規(guī)模從億級(jí)躍升至萬億級(jí)，算力需求每3-4個(gè)月翻番，“逆摩爾定律”凸顯，單一架構(gòu)算力難滿足需求，異構(gòu)算力成必然選擇。國(guó)內(nèi)外政策積極推動(dòng)，中國(guó)在用算力中心標(biāo)準(zhǔn)機(jī)架達(dá)1085萬架，智能算力規(guī)模788EFLOPS，位居全球第二，但面臨高端芯片、核心軟件等挑戰(zhàn)。
行業(yè)現(xiàn)狀方面，全球大模型呈參數(shù)指數(shù)增長(zhǎng)與架構(gòu)創(chuàng)新趨勢(shì)，國(guó)內(nèi)大模型“提質(zhì)增效”，開源生態(tài)繁榮。算力需求爆發(fā)帶來訓(xùn)練成本激增、推理需求多樣等問題，還面臨算力墻、存儲(chǔ)墻、通信墻“三堵墻”及成本、能效挑戰(zhàn)。全球算力向智能計(jì)算轉(zhuǎn)型，中國(guó)智算中心建設(shè)成效顯著，“東數(shù)西算”工程推進(jìn)，異構(gòu)算力因適配多場(chǎng)景成主流。
技術(shù)架構(gòu)上，異構(gòu)計(jì)算硬件體系中CPU、GPU、FPGA、ASIC各有優(yōu)劣，國(guó)產(chǎn)AI芯片形成多元路線；高速互聯(lián)技術(shù)保障系統(tǒng)性能，智算中心多采用CLOS架構(gòu)；存儲(chǔ)需分層架構(gòu)應(yīng)對(duì)大模型高要求，分布式存儲(chǔ)與數(shù)據(jù)預(yù)處理技術(shù)關(guān)鍵。
融合關(guān)鍵技術(shù)涵蓋軟硬件協(xié)同優(yōu)化、大模型并行訓(xùn)練、推理加速部署優(yōu)化、異構(gòu)資源調(diào)度編排四大方向，通過多種技術(shù)提升效率、降低成本。
國(guó)內(nèi)實(shí)踐中，華為昇騰、寒武紀(jì)、阿里平頭哥、騰訊等企業(yè)各有布局，國(guó)家級(jí)智算中心與商業(yè)云服務(wù)商積極探索，開源社區(qū)推動(dòng)生態(tài)建設(shè)。
行業(yè)應(yīng)用已拓展至互聯(lián)網(wǎng)內(nèi)容生成、金融醫(yī)療、自動(dòng)駕駛智能制造等領(lǐng)域，異構(gòu)算力提供重要支撐。
未來，行業(yè)面臨算力缺口、軟件生態(tài)、能效、數(shù)據(jù)安全等挑戰(zhàn)，技術(shù)將向Chiplet、存算一體、多模態(tài)大模型、算力網(wǎng)絡(luò)等方向發(fā)展，國(guó)產(chǎn)產(chǎn)業(yè)鏈與開發(fā)者生態(tài)將完善，推動(dòng)算力普惠與行業(yè)滲透。
