本報(bào)記者 劉園園
這段時(shí)間，一款名叫ChatGPT的人工智能聊天系統(tǒng)就像平地起春雷，突然刷爆網(wǎng)絡(luò)。
“從目前普遍的對(duì)話(huà)感受來(lái)看，ChatGPT的最大亮點(diǎn)就在于其優(yōu)秀的意圖識(shí)別與語(yǔ)言理解能力，這令人意識(shí)到人工智能的交互能力已經(jīng)實(shí)現(xiàn)了跨越式進(jìn)展。”易觀(guān)智慧院高級(jí)分析師陳晨評(píng)價(jià)。
有問(wèn)必答，侃侃應(yīng)對(duì)。這種神奇的人機(jī)互動(dòng)體驗(yàn)，勾起人們絞盡腦汁向ChatGPT提問(wèn)的熱情，并為其帶來(lái)驚人的用戶(hù)量：該系統(tǒng)在兩個(gè)多月前由美國(guó)人工智能研究公司OpenAI推出，今年1月便已達(dá)到1億月活躍用戶(hù)，用戶(hù)增長(zhǎng)速度堪稱(chēng)史無(wú)前例。
這款產(chǎn)品大受歡迎，其重要幕后功臣是被業(yè)內(nèi)稱(chēng)為預(yù)訓(xùn)練模型的技術(shù)。面對(duì)ChatGPT的爆火，國(guó)內(nèi)科技機(jī)構(gòu)和企業(yè)紛紛“亮劍”。據(jù)最新消息，中國(guó)版ChatGPT將于下個(gè)月與公眾見(jiàn)面。
參數(shù)規(guī)模從幾百萬(wàn)狂飆至幾千億
“目前，預(yù)訓(xùn)練技術(shù)是人工智能研究的重要突破口。”阿里研究院未來(lái)技術(shù)中心負(fù)責(zé)人蘇中解讀，傳統(tǒng)的研究方法中，標(biāo)注成本一直是阻礙人工智能算法推向更大數(shù)據(jù)集合的障礙，而預(yù)訓(xùn)練技術(shù)不依賴(lài)數(shù)據(jù)標(biāo)注，就可以訓(xùn)練出一個(gè)大規(guī)模深度學(xué)習(xí)模型。
科技日?qǐng)?bào)記者了解到，由于不需要數(shù)據(jù)標(biāo)注，預(yù)訓(xùn)練模型往往可以使用更大的數(shù)據(jù)集，因而可以選擇更大的模型規(guī)模——這就催生了預(yù)訓(xùn)練大模型。
“與以往的人工神經(jīng)網(wǎng)絡(luò)相比，預(yù)訓(xùn)練大模型最大的不同在于它規(guī)模足夠大，深度學(xué)習(xí)網(wǎng)絡(luò)的層數(shù)多、連接多、參數(shù)多。”IDEA研究院（粵港澳大灣區(qū)數(shù)字經(jīng)濟(jì)研究院）認(rèn)知計(jì)算與自然語(yǔ)言研究中心講席科學(xué)家張家興接受記者采訪(fǎng)時(shí)介紹，2012年前后的深度學(xué)習(xí)網(wǎng)絡(luò)只有幾百萬(wàn)參數(shù)；2018年前后主流的預(yù)訓(xùn)練模型達(dá)到1億參數(shù)；目前被證明非常有效的大規(guī)模預(yù)訓(xùn)練模型已有幾千億參數(shù)，短短幾年時(shí)間提升了幾千倍。
量變引起質(zhì)變。蘇中分析，在對(duì)預(yù)訓(xùn)練模型各種不同的技術(shù)評(píng)測(cè)中，算法性能展示了一個(gè)規(guī)律：數(shù)據(jù)規(guī)模越大、預(yù)訓(xùn)練模型參數(shù)越多，算法輸出精度往往也越高。
除了規(guī)模大以外，張家興談到，目前的預(yù)訓(xùn)練大模型由于采用了新的結(jié)構(gòu)模型，非常適合并行訓(xùn)練。同時(shí)，在訓(xùn)練方式上，人工神經(jīng)網(wǎng)絡(luò)的預(yù)訓(xùn)練任務(wù)類(lèi)似“解題”，比如把一句話(huà)的某個(gè)詞或前半句去掉，讓預(yù)訓(xùn)練模型利用海量大數(shù)據(jù)對(duì)句子進(jìn)行恢復(fù)，這樣訓(xùn)練下去，預(yù)訓(xùn)練模型的“解題”能力就會(huì)越來(lái)越好。而且，在大語(yǔ)言模型的基礎(chǔ)上，引入指令學(xué)習(xí)，可以遠(yuǎn)超模型微調(diào)帶來(lái)的收益。在此基礎(chǔ)上，人類(lèi)的反饋可以幫助模型更好地理解人類(lèi)意圖和接收信息，人機(jī)對(duì)話(huà)也就越來(lái)越流暢。
“ChatGPT在底層數(shù)據(jù)、核心技術(shù)、用戶(hù)體驗(yàn)等各方面都可以說(shuō)是里程碑式的人工智能產(chǎn)品。”曠視研究院基礎(chǔ)科研負(fù)責(zé)人張祥雨表示，ChatGPT的核心技術(shù)是人工智能語(yǔ)言大模型，其關(guān)鍵是如何讓人工智能模型具備邏輯推理能力，以及如何讓人工智能學(xué)習(xí)全互聯(lián)網(wǎng)的知識(shí)。這些ChatGPT基本都做到了，因此在決策和知識(shí)環(huán)節(jié)有了很大的突破。
國(guó)內(nèi)多家科技機(jī)構(gòu)已布局相關(guān)領(lǐng)域
據(jù)外媒報(bào)道，多家國(guó)外科技巨頭正重金投入預(yù)訓(xùn)練模型和人工智能生成內(nèi)容（AIGC）賽道。記者了解到，國(guó)內(nèi)已有不少科技機(jī)構(gòu)和企業(yè)布局相關(guān)領(lǐng)域。
張家興告訴記者，IDEA研究院認(rèn)知計(jì)算與自然語(yǔ)言研究中心在此方向上布局已久，該中心擁有國(guó)內(nèi)最大的開(kāi)源模型體系——封神榜，已開(kāi)源的98個(gè)模型正在全力支持中國(guó)AIGC的發(fā)展，探索研發(fā)適配各個(gè)領(lǐng)域的個(gè)性化可定制模型，支持全部自然語(yǔ)言處理（NLP）任務(wù)。
“很高興能在深度學(xué)習(xí)高速發(fā)展的第十年節(jié)點(diǎn)上，看到AIGC和ChatGPT的出現(xiàn)，今天所有這些自然語(yǔ)言處理任務(wù)正在被統(tǒng)一到ChatGPT模式下，我們也正在整合之前的模型和技術(shù)，推出我們的類(lèi)ChatGPT模型。”張家興說(shuō)。
記者從百度獲悉，百度已投入開(kāi)發(fā)類(lèi)似ChatGPT的相關(guān)技術(shù)，該項(xiàng)目名字確定為文心一言，英文名ERNIE Bot，3月份完成內(nèi)測(cè)后面向公眾開(kāi)放。目前，文心一言在做上線(xiàn)前的沖刺。
“ChatGPT主要涉及自然語(yǔ)言處理相關(guān)技術(shù)，屬于認(rèn)知智能領(lǐng)域的應(yīng)用之一，科大訊飛在該方向的技術(shù)和應(yīng)用方面具備長(zhǎng)期深厚的積累。”2月8日晚，科大訊飛在投資者互動(dòng)平臺(tái)回應(yīng)稱(chēng)，公司已面向認(rèn)知智能領(lǐng)域陸續(xù)開(kāi)源了6大類(lèi)、超過(guò)40個(gè)通用領(lǐng)域的系列中文預(yù)訓(xùn)練語(yǔ)言模型，并于去年12月啟動(dòng)生成式預(yù)訓(xùn)練大模型任務(wù)攻關(guān)，人工智能學(xué)習(xí)機(jī)將成為該項(xiàng)技術(shù)率先落地的產(chǎn)品，今年5月將進(jìn)行產(chǎn)品級(jí)發(fā)布。
此外，360公司2月7日在投資者互動(dòng)平臺(tái)表示，該公司也計(jì)劃盡快推出類(lèi)ChatGPT技術(shù)的原型版產(chǎn)品。“AIGC技術(shù)除了在搜索引擎的應(yīng)用之外，還可以輔助數(shù)字安全能力的提升。”360公司稱(chēng)。
（本報(bào)記者操秀英、劉艷對(duì)此文亦有貢獻(xiàn)）