作者：中國科學院復雜系統(tǒng)管理與控制國家重點實驗室研究員 王飛躍
作為信息化、數字化、智能化的新型技術基座，生成式人工智能對于提升國家戰(zhàn)略地位與國際競爭力具有重要意義。2022年11月以來，隨著以ChatGPT為代表的大語言模型迅速發(fā)展，生成式人工智能（Generative Artificial Intelligence, GenAI）推動人工智能從算法智能（Algorithmic Intelligence，AI）進入語言智能（Linguistic Intelligence，LI）時代，正在全面革新社會生產力。當前，大語言模型成為現(xiàn)代人工智能的基石，構筑起連接多模態(tài)的橋梁。2024年2月美國OpenAI發(fā)布的Sora，以其長達1分鐘的高質量視頻生成能力，進一步開啟了想象智能（Imaginative Intelligence，II）新時代。Sora初步體現(xiàn)出世界模擬器的能力，為探索通用人工智能（Artificial General Intelligence, AGI）邁出了重要一步。我國近年來也在生成式人工智能領域不斷取得進展，文心一言、通義千問、盤古、混元、Kimi等大模型在中文應用領域建立優(yōu)勢，呈現(xiàn)出“百模爭鳴”的繁榮局面。同時，我國生成式人工智能也面臨著算法低效、數據不足、算力緊缺、能耗過高等問題，特別是我國在芯片受限的情況下，算力問題尤為突出。本文將介紹生成式人工智能的發(fā)展，重點分析我國生成式人工智能所面臨的挑戰(zhàn)，進一步討論對策，并展望未來發(fā)展趨勢。
生成式人工智能的源起與發(fā)展
生成式人工智能是指一類能夠自主生成新內容的人工智能技術，這些內容可以包括文本、圖像、音頻和視頻等多種形式。生成式人工智能通過學習已有數據的模式和結構，創(chuàng)造出全新的、未曾出現(xiàn)過的數據實例。生成式人工智能的核心在于其創(chuàng)造性和創(chuàng)新性，它不僅僅是復制或模仿現(xiàn)實，而是能夠基于已有知識進行創(chuàng)新，生成有價值的新內容。生成式人工智能模型的例子包括生成對抗網絡（GAN）、變分自編碼器（VAE）和生成式預訓練Transformer（GPT）等。生成式人工智能應用領域廣泛，已經對藝術、設計、娛樂，甚至科學研究帶來實質變革。生成式人工智能的發(fā)展前景廣闊，它不僅能夠為人們的日常生活帶來便利， 還能夠幫助人們提高工作效率，促進產業(yè)升級，推進社會發(fā)展。
生成式人工智能研究范式與之前的深度學習有著明顯的不同之處。在過去，深度學習的理論與算法研究主要由學術界參與，而生成式人工智能的發(fā)展主要由包括Open AI、 Google、Met、Anthropi、Midjourney和Stability AI在內的多家公司推動。這些公司在生成式人工智能領域投入了大量資源，并通過研發(fā)和商業(yè)應用推動了技術的進步和應用，使得生成式人工智能能夠更快地從實驗室走向市場，并在各個領域取得廣泛的應用和影響。
生成式人工智能在創(chuàng)造新內容和推動技術進步的同時，也可能帶來一系列安全問題，主要包括以下幾個方面：
在虛假信息方面，生成式人工智能能夠制作逼真的文本、圖像、音頻和視頻內容，這可能導致虛假新聞、偽造證據和誤導性信息的產生和傳播，對社會秩序和公共安全造成威脅。通過生成式人工智能技術，深度偽造技術（Deepfakes）可以創(chuàng)建逼真的偽造人臉和聲音，這可能被用于身份冒充、欺詐和誹謗，侵犯個人隱私和名譽權。生成式人工智能模型可能被用于制造惡意軟件或進行網絡攻擊，例如生成用于釣魚攻擊的逼真電子郵件或創(chuàng)建用于繞過安全系統(tǒng)的虛假憑證。
在版權與隱私保護方面，在訓練生成式人工智能模型時，可能需要大量的個人數據，這些數據如果未經妥善處理，可能會泄露個人隱私，增加數據泄露的風險。生成式人工智能在創(chuàng)作過程中可能會無意中復制或模仿受版權保護的作品，從而引發(fā)知識產權糾紛。
在倫理和道德方面，生成式人工智能在創(chuàng)作內容時，可能缺乏人類的判斷和審查，從而產生不當或不敏感的輸出。為此，世界各國正在加速立法，鼓勵生成式人工智能技術的創(chuàng)新應用，同時規(guī)定了服務提供者和使用者應當遵守的基本規(guī)范，包括尊重知識產權和他人合法權益，提高生成內容的準確性和可靠性等，確保其健康有序地發(fā)展。
此外，據《紐約客》相關報道，OpenAI的GPT-3在訓練階段單次耗電量高達128.7萬度；而ChatGPT部署上線后，按照日均請求2億次計算，支撐推理應答服務的耗電高達每天50萬度。在我國，根據公開資料，三峽大壩年平均發(fā)電量約為850億度，而2022年我國主要數據中心耗電量達到2700億度，已是三峽年均發(fā)電量的3倍多。冷卻用水消耗、碳排放足跡等，也將對生態(tài)環(huán)境造成不可忽視的影響。
我國生成式人工智能發(fā)展現(xiàn)狀
總體情況。自2022年11月ChatGPT發(fā)布以來，國產大模型迅速崛起，形成了“百模爭鳴”的繁榮局面。百度的文心1.0通用大模型自2019年首次推出后，已升級至4.0版本。阿里云、華為、騰訊、科大訊飛等公司也推出了各自的通用大模型，如通義千問、盤古、混元和星火等，并向公眾開放。在這場競賽中，初創(chuàng)企業(yè)也取得了顯著成就，例如“月之暗面”推出的Kimi智能助手大模型，支持高達200萬漢字的上下文長度，引起了業(yè)界廣泛關注。學術界也積極參與國產大模型的研究，例如中科院自動化所發(fā)布了全球首個圖文音三模態(tài)預訓練模型——紫東太初大模型，上海人工智能實驗室與復旦大學聯(lián)合發(fā)布了書生·浦語通用大模型（InternLM）。為推動技術與市場發(fā)展，一些廠商提供了開源版本的大模型，如阿里云的Qwen系列、零一萬物的Yi系列、智譜華章的GLM系列、科大訊飛的iFlytekSpark系列、百川智能的Baichuan系列等。這些開源模型為研究和應用提供了便利，進一步促進了國產大模型技術的創(chuàng)新和應用。
為了增強對蓬勃發(fā)展的國產大模型的認識，新華社研究院中國企業(yè)發(fā)展研究中心于2023年發(fā)布了三版《2023年人工智能大模型體驗報告》，回顧了大模型產品市場的激烈競爭，并對當前大模型產品和廠商進行了整體測評。同時，多個機構也推出了各自的大模型評測體系和排行榜，如“司南”（OpenCompass）、C-Eval、SuperCLUE等，廠商間的激烈競爭彰顯了該行業(yè)的活力與吸引力。排行榜在展現(xiàn)國產大模型激烈競爭的同時，也揭示出業(yè)內的亂象，例如模型套殼、評分作假等。
領域應用。在通用大模型的基礎上發(fā)展領域專用模型，推進垂直領域應用是我國生成式人工智能領域的特色。國內專用領域大模型在科學研究、教育、醫(yī)學、工業(yè)、金融多個行業(yè)得到應用和發(fā)展。
在AI4S（AI for Science）領域，華為的盤古氣象大模型利用深度神經網絡和地球先驗知識，實現(xiàn)了高精度的實時氣象預測，超越了傳統(tǒng)數值預測方法。化學領域，中國科學技術大學提出的Chem-GPT模型/華東師范大學的提出的ChenGPT1.0/上海交通大學提出的BAI-Chem大模型，以及西北工業(yè)大學與華為合作的“秦嶺·翱翔”流體力學大模型，均在各自領域取得了一定的成果。
在教育領域，華東師范大學和北京語言大學分別開發(fā)的EduChat和桃李教育大模型，以及學而思的九章大模型（MathGPT）和網易有道的子曰教育大模型，展示了大模型在輔助教學過程中的重要作用。
在工業(yè)領域，中國廣核集團推出的“錦書”核工業(yè)語言大模型、中科院大連化物所的化工大模型、中工互聯(lián)公司的“智工”大模型，以及中煤科工西安研究院的“GeoGPT”地質大模型，提升了工業(yè)領域的智能化水平。
在醫(yī)學領域，華南理工大學的生活空間健康大模型扁鵲（BianQue）和心理健康大模型靈心（SoulChat）、香港中文大學的華佗GPT模型、浙江大學的啟真醫(yī)療大模型、醫(yī)聯(lián)科技的medGPT大模型，以及多個中醫(yī)藥大模型如百度健康的岐黃問道大模型、華東師范大學的神農中醫(yī)藥大模型（ShenNong-TCM）、復旦大學和同濟大學合作的仲景中醫(yī)大語言模型（CMLM-ZhongJing）、南京大學與鄭州大學的黃帝模型（Huang-Di）等等，推動了醫(yī)療健康領域的智能化發(fā)展。
在金融領域，中國科學院成都計算機應用研究所的“聚寶盆”金融知識問答大模型、度小滿的“軒轅”千億級開源金融大模型、恒生電子的LightGP、瀾舟科技的孟子大模型，以及香港科技大學的InvestLM投資金融大模型，在金融行業(yè)中發(fā)揮日益重要的作用。
這些行業(yè)大模型初步提升了行業(yè)生產效率，不斷塑造新動能、新優(yōu)勢。同時，大模型在某些行業(yè)的落地應用還存在很多挑戰(zhàn)，發(fā)展前景具有不確定因素。
政策法規(guī)。為了國產大模型的規(guī)范化和健康化發(fā)展，國家網信辦聯(lián)合國家發(fā)展改革委、教育部、科技部等七部門聯(lián)合發(fā)布《生成式人工智能服務管理暫行辦法》，規(guī)定對生成式人工智能大模型實施“備案制”管理。此外，為了滿足當前國產大模型發(fā)展所引發(fā)的巨大算力需求，我國陸續(xù)出臺了《全國一體化大數據中心協(xié)同創(chuàng)新體系算力樞紐實施方案》《算力基礎設施高質量發(fā)展行動計劃》《“十四五”數字經濟發(fā)展規(guī)劃》等一系列文件推動算力基礎設施建設。
我國生成式人工智能面臨的挑戰(zhàn)
雖然我國在生成式人工智能領域呈現(xiàn)出繁榮景象，但與國際領先水平相比，我國在算力設施、數據質量、算法創(chuàng)新、資金投入、人才儲備、產業(yè)發(fā)展、生態(tài)建設等方面仍有一定差距。
算力。在AI算力領域，美國英偉達公司在全球占據主導地位，而國內AI芯片制造商如華為、寒武紀、摩爾線程、壁仞科技、海光信息、天數智芯等也在積極發(fā)展，百度、科大訊飛等企業(yè)也聯(lián)合國產芯片廠開放部署了自主可控大模型算力底座“星火一體機”、“飛星一號”等平臺。其中，華為在AI計算領域水平最為領先，推出了基于達芬奇架構的昇騰系列AI芯片。面對當前海外高性能芯片進口受限的現(xiàn)實，國產高性能芯片取得了一定的發(fā)展，但與國際先進水平相比，仍存在一定差距。
以英偉達的H100(SXM)和華為的昇騰Ascend 910B為例，作為國際和國內主力AI芯片，H100(SXM)的FP16算力達到1979TFLOPS，是昇騰910B的5.2倍；顯存方面，H100(SXM)的80G HBM3是昇騰910B的64GHBM2的1.25倍，且新一代顯存帶來的性能差距更大。此外，H100(SXM)采用NVLINK技術，具有900GB/s的卡間互聯(lián)帶寬，是昇騰910B的2.25倍。英偉達的CUDA架構和專用庫如CuDNN，形成了成熟的軟硬件生態(tài)，而華為的CANN架構雖在不斷完善，但起步較晚，在算子豐富度及算法優(yōu)化方面仍存在差距。尤其值得注意的是，英偉達等企業(yè)的AI芯片快速迭代升級，而我國由于受到芯片制造技術封鎖，產品更新速度大大減慢。英偉達在2023年發(fā)布了新一代H200芯片，顯存容量提升至141G，大模型推理速度翻倍。2024年3月，英偉達又發(fā)布了Blackwell計算平臺，性能顯著提升。例如，訓練1.8萬億參數的GPT-4，使用Blackwell平臺相比Hopper能耗大幅降低。相比之下，華為的昇騰Ascend 910在2019年就已推出，而升級版Ascend 910B在2023年才小規(guī)模投入使用。此外，谷歌基于自研TPU的算力平臺已經體現(xiàn)出強大的實力，近期備受關注的Groq公司研發(fā)的大語言模型推理芯片LPU，推理速度可達H100的十倍。綜合來看，我國與國際算力先進水平的差距短期內進一步拉大。
數據。數據是生成式人工智能的核心要素之一，我國在人工智能訓練數據的質量和數量、管理、共享、應用等方面與國外英文數據相比，存在一些差距和挑戰(zhàn)：
在數據質量和多樣性方面，我國的中文數據雖然近年來快速增長，但在某些領域，如專業(yè)醫(yī)療、法律等，高質量的標注數據仍然相對不足。英文數據由于互聯(lián)網歷史較長、用戶基數大，覆蓋了廣泛的文化和語境，積累了大量的高質量文本和多媒體數據，這有助于訓練出更具泛化能力的AI模型。中文數據雖然在本土文化和語境上具有優(yōu)勢，但在處理多方言、多文化背景下的數據上，仍需加強多樣性和包容性。
在數據管理和共享方面，我國公共數據范圍廣泛，但在開放共享和開發(fā)利用方面存在不足。例如，天氣數據在范圍和歷史跨度上有所限制，法律領域的裁判文書網由公開轉為內網查詢。社會力量主要依賴海外優(yōu)質開源數據集，中文語料主要來源于網絡公開數據，政府數據貢獻相對較少。為提升我國在AI領域的競爭力，需要加強公共數據的開放共享，優(yōu)化數據管理和利用，鼓勵政府和社會力量的合作，共同推動數據資源的高效開發(fā)和應用?？傮w而言，中文語料庫的量、質、開源情況都不如英文，存在數據資源碎片化和流通機制不完善的問題，尚未形成對大模型提供有效數據資源的生態(tài)，一定程度上阻礙了我國生成式人工智能的發(fā)展。
算法。算法、數據和算力是深度學習三大要素。在基礎算法方面，2017年谷歌提出的Transformer已經成為生成式AI的核心模塊。此后，多模態(tài)領域的CLIP，生成式領域的擴散模型（Diffusion Model）、混合專家模型（MoE）等方法均由國外機構提出并發(fā)展，而我國科研機構提出的創(chuàng)新方法相對較少且影響力不足。
在大語言模型方面，谷歌的Bert和OpenAI的GPT最先開啟了新時代，特別是OpenAI發(fā)布的 ChatGPT成為AI發(fā)展路程上的一個里程碑。而后續(xù)的GPT-4以其在多數任務指標上的優(yōu)異表現(xiàn)，在眾多語言大模型中仍然占據榜首。Meta開源的Llama大模型雖然稍晚性能稍遜，但是其開源屬性，成為世界上眾多大模型的源頭。在文本生成圖像方面，OpenAI的DALL·E和谷歌的Imagen在2022年最先發(fā)布，以其高真實度的效果迅速引起了全球范圍的注意，人工智能生成內容（AIGC）進入新時代。在文本生成視頻方面，OpenAI在2024年2月發(fā)布Sora，再次取得歷史性突破。在大語言模型領域，國內的百度、智源、中科院等單位具有先發(fā)優(yōu)勢，推出文心一言、GLM等大模型。2022年以來在開源力量等因素的推動下，形成“百模大戰(zhàn)”的繁榮局面，但整體上的性能沒有超過GPT-4等國外模型。而在文本生成視頻方面，國內與Sora的差距更為明顯。
促進我國生成式人工智能發(fā)展的對策建議
在當前形勢下，我國應在算力能效結合、數據開放共享、模型垂直應用、生態(tài)綜合健全等方面統(tǒng)籌規(guī)劃，調動各方力量，實現(xiàn)全面發(fā)展。
第一，鼓勵計算架構多元創(chuàng)新，充分利用我國能源優(yōu)勢，建設高能效智能算力網絡。在計算芯片方面，應探索發(fā)展更適合AI計算的架構，發(fā)展多樣化技術路線。雖然在短期內Nvidia的GPU系列仍將是AI計算的主要平臺，但其也存在設計上的不足，一些新、舊勢力正在打破其壟斷局面。例如美國初創(chuàng)公司Groq研發(fā)的LPU，專門面向大語言模型推理，速度獲得顯著提升，而老牌Intel最新研發(fā)的AI計算芯片Gaudi3，訓練性能達到Nvidia H100的1.7倍。我國也應激勵研發(fā)AI專用體系架構，充分利用RISC-V等開源架構，加快芯片制造技術升級，探索自主可控的計算生態(tài)體系。此外，應加快量子計算等新計算形式的研究。量子計算利用量子疊加和量子糾纏原理，其天然的并行處理能力遠高于目前的主流處理器。近年來量子計算實現(xiàn)技術快速發(fā)展，量子機器學習等領域已經展現(xiàn)出潛力。
在電力供給方面，隨著AI算力的不斷提升，對電力的需求也在急劇增長，電力已成為AI算力對決的關鍵因素。生成式人工智能技術的發(fā)展離不開算力的支撐，而算力的提升又離不開電力的供應。我國“百模大戰(zhàn)”或將帶動智算中心及其配套所需的相關電力、儲能基礎設施建設和投運速度的大幅提高。對此，除強化國家級超算中心之外，我國可著重從兩個方面應對能源算力不斷增長的挑戰(zhàn)。一是開展算力與能源的結合，參考比特幣“礦廠”模式，將算力中心部署在在四川、云南、內蒙古、新疆等電力充足地區(qū)，就近利用火電、水電、風能、太陽能，依托自主硬件設備，建設高效能算力中心，助力“東數西算”。二是通過分布式計算調動社會資源，進一步利用社會閑置算力，吸引公眾參與科學研究。
第二，建立聯(lián)邦數據基礎，鼓勵開放共享，促進數據提質增量。針對數據存量少、質量低、開放不足、共享機制不完善的問題，我國首要任務是建設智能聯(lián)邦生態(tài)系統(tǒng)，而聯(lián)邦數據是其中的當務之急。聯(lián)邦數據為數據安全和隱私問題提供有效解決方案，其運行機理遵循平行智能范式，能夠根據Morton定律和平行強化學習等方法探索實現(xiàn)數據最優(yōu)化，為將大數據轉化為智能打下基礎。聯(lián)邦數據的架構包括六個組件，即真實數據/物理對象、虛擬數據/數字孿生、聯(lián)邦數據實驗、聯(lián)邦融合、聯(lián)邦安全和可信聯(lián)邦智慧。前兩個組件用于處理來自物理對象的真實數據和安裝在特定設備上的數字孿生生成的虛擬數據，以及其他方法生成的虛擬數據。聯(lián)邦數據實驗是探索最優(yōu)模型的關鍵過程之一，通過在解決方案空間中搜索，例如，使用強化學習和并行強化學習找到本地模型的最優(yōu)參數。聯(lián)邦融合組件負責將本地模型合成全局最優(yōu)模型，通過使用專門設計的模型融合算法，如動態(tài)融合機制。聯(lián)邦安全組件負責實現(xiàn)數據安全和隱私。數據所有權和使用權是分開的，即對于特定節(jié)點，數據存儲在其本地地址，而這些數據訓練的模型被轉移到聯(lián)邦融合和聯(lián)邦數據實驗組件，類似于聯(lián)邦學習。此外，安全性還可以通過區(qū)塊鏈或其他加密方法進一步提高。從聯(lián)邦數據實驗和聯(lián)邦融合的結果中，可以獲得可信的聯(lián)邦智能。
第三，持續(xù)算法創(chuàng)新，打造專業(yè)大模型，開拓垂直領域應用新場景。在短期內我國AI算力受限、模型算法創(chuàng)新突破難度較大的背景下，應在持續(xù)鼓勵算法創(chuàng)新的同時，以彌補算力短板、促進產業(yè)升級、解決行業(yè)痛點為出發(fā)點，著力打造專業(yè)大模型，開拓垂直領域應用新場景。通過專注于垂直領域的專業(yè)大模型，可以更有效地利用現(xiàn)有算力資源，避免在通用AI模型上的重復資源浪費。專業(yè)大模型針對特定問題進行優(yōu)化，能夠在有限的算力下實現(xiàn)更高的性能和效率。專業(yè)大模型能夠針對特定行業(yè)的需求提供定制化的智能解決方案，推動傳統(tǒng)產業(yè)的數字化和智能化轉型，從而提升整個產業(yè)鏈的技術水平和價值創(chuàng)造能力。例如，在醫(yī)療、金融、交通、教育等關鍵領域，專業(yè)大模型能夠解決行業(yè)痛點問題，如提高疾病診斷的準確性、優(yōu)化金融服務的個性化推薦、緩解交通擁堵等，持續(xù)增進人民福祉。
第四，探索TAO（True DAO），發(fā)展智能聯(lián)邦生態(tài)，健全智能生態(tài)。如前所述，人工智能技術的創(chuàng)新和健康發(fā)展涉及到算力、算法、數據多個要素，需要政府、學術界、企業(yè)以及社會大眾的共同努力。因此，建立健全促進AI發(fā)展的生態(tài)體系十分關鍵。
一方面，充分利用區(qū)塊鏈、分布式自治組織（DAO），借助目前國際上開始流行的Web3和DeSci浪潮，推進我國AI領域全面發(fā)展。區(qū)塊鏈是一種分布式賬本技術，它通過加密和共識機制確保數據的不可篡改性和透明性。在AI領域，區(qū)塊鏈可以用于確保數據的安全性和隱私性，同時為AI模型提供高質量、可追溯的數據源。分布式自治組織（DAO）是一種基于區(qū)塊鏈技術的組織形式，它通過智能合約自動執(zhí)行組織的規(guī)則和決策過程，可以為AI項目提供去中心化的管理和資金分配機制，與區(qū)塊鏈結合促進AI技術的開放協(xié)作和共同治理之TAO（True DAO）。Web3指的是構建在區(qū)塊鏈技術之上的下一代互聯(lián)網，它所強調的數據去中心化存儲、用戶隱私保護、數據所有權歸還給用戶等理念，為AI提供了一個更加開放、透明和安全的數據環(huán)境。以上技術應用的一個領域范例就是DeSci，利用區(qū)塊鏈和智能合約等技術，實現(xiàn)科學研究的去中心化、開放和共享。DeSci鼓勵跨學科合作，促進科學數據和研究成果的公開共享，也能夠為AI提供豐富的數據資源和創(chuàng)新動力。Web3、分布式自治組織（DAO）、區(qū)塊鏈和DeSci在發(fā)展人工智能中將共同推動技術進步、促進數據共享、增強系統(tǒng)安全性和推動去中心化治理，為AI的健康發(fā)展和廣泛應用提供堅實的基礎。
另一方面，應建立聯(lián)邦數據、聯(lián)邦控制、聯(lián)邦管理和聯(lián)邦服務為一體的聯(lián)邦生態(tài)，推動聯(lián)邦智能發(fā)展為智能系統(tǒng)聯(lián)邦。聯(lián)邦控制在聯(lián)邦生態(tài)中扮演核心角色，其主要目標是維護信息安全和保護數據的所有權、控制權、隱私權和使用權。作為一種分布式控制策略，聯(lián)邦控制為大型復雜系統(tǒng)提供高效、安全和可靠的管理和控制。聯(lián)邦管理是聯(lián)邦生態(tài)的關鍵組成部分，負責根據生態(tài)目標和要求制定管理決策，并根據系統(tǒng)狀態(tài)變化動態(tài)調整。通過聯(lián)邦管理，生態(tài)系統(tǒng)能夠達到最優(yōu)狀態(tài)，實現(xiàn)目標，并在保障安全的前提下，實現(xiàn)智能化管理。聯(lián)邦管理的目的是通過對聯(lián)邦數據的聯(lián)邦控制來實現(xiàn)聯(lián)邦服務。在實現(xiàn)聯(lián)邦服務的過程中，不斷產生大量新的數據，這些數據可以添加到聯(lián)邦數據中，用于優(yōu)化聯(lián)邦管理決策。
通過構建上述分布式和聯(lián)邦化相結合的生態(tài)系統(tǒng)，做到資源有效調配，激發(fā)創(chuàng)新活力，綜合維度促進AI全面健康發(fā)展。以DeSci為基礎，國際化的無人駕駛大模型MetaVista、食品大模型MeTaurant、運動大模型MetaSport、健康大模型MetaSEEH3O2，以及慧拓智能推出的礦山大模型愚公（YuKon）等正在快速發(fā)展，展現(xiàn)出新生態(tài)的活力。
生成式人工智能的發(fā)展趨勢與展望
生成式人工智能作為人工智能中發(fā)展最快的一個領域，傳統(tǒng)巨頭和創(chuàng)業(yè)公司的突破性產品在短時間內相繼推出，可謂日新月異。算法、模型、算力、應用的相互促進，形成飛輪效應，在未來一段時期為生成式人工智能的持續(xù)繁榮提供動力?？傮w而言，我國雖然面臨算力能源約束、數據質量不足等問題，但生成式人工智能的發(fā)展前景依然廣闊。
第一，大模型的規(guī)模效應（Scaling Law）仍有擴展?jié)摿?。雖然研究新算法以替代Transformer的呼聲日益高漲，但如Mamba等新架構尚在驗證和改進階段，未被廣泛接受和使用?；赥ransformer 并結合MoE的架構在短期內仍將不斷擴展規(guī)模效益的邊界。
第二，多模態(tài)大模型是發(fā)力的重點。語言大模型能力相對完備，成為鏈接各個模態(tài)的橋梁，文生圖、文生視頻等將逐步完善，促進從語言智能向想象智能的范式轉換。
第三，行業(yè)大模型是重點方向?；谏贁祷A大模型打造面向特定行業(yè)的專業(yè)模型是“AI+”行業(yè)賦能的有效方式，參數高效微調（PEFT）技術通過最小化微調參數數量和計算復雜度，能夠顯著降低訓練時間和成本。例如，LoRA、Prompt Tuning等技術能在計算資源有限的情況下，實現(xiàn)高效的遷移學習。
第四，生成式人工智能將進一步增加對算力與能源的需求。隨著大模型規(guī)模效應的進一步發(fā)展，以及文生圖、文生視頻等多模態(tài)應用需求的高速增長，算力緊缺將是未來一段時間的常態(tài)，特別是我國在芯片受限的情況下這一問題更加突出。同時，算力緊缺也將促進AI專用芯片的研發(fā)，面向底層算法加速的異構芯片將擠占Nvidia的市場，我國自主AI算力芯片也將快速成長。
