超大規(guī)模預訓練模型是從弱人工智能向通用人工智能的突破性探索，解決了傳統(tǒng)深度學習的應用碎片化難題，但性能與能耗提升不成比例的效率問題限制了參數(shù)規(guī)模繼續(xù)擴張。人工智能研究將從大模型參數(shù)競賽走向大小模型的協(xié)同進化，大模型向邊、端的小模型輸出模型能力，小模型負責實際的推理與執(zhí)行，同時小模型再向大模型反饋算法與執(zhí)行成效，讓大模型的能力持續(xù)強化，形成有機循環(huán)的智能體系。
趨勢解讀
谷歌的BERT、Open AI的GPT-3、智源的悟道、達摩院的M6等大規(guī)模預訓練模型取得了重要進展，大模型的性能有了飛躍性提升，為下游的AI模型提供了發(fā)展的基礎。然而大模型訓練對資源消耗過大，參數(shù)數(shù)量增加所帶來的性能提升與消耗提升不成比例，讓大模型的效率受到挑戰(zhàn)。
大模型的參數(shù)規(guī)模發(fā)展將進入冷靜期，大模型與相關聯(lián)的小模型協(xié)同將是未來的發(fā)展方向。大模型沉淀的知識與認知推理能力向小模型輸出，小模型基于大模型的基礎疊加垂直場景的感知、認知、決策、執(zhí)行能力，再將執(zhí)行與學習的結(jié)果反饋給大模型，讓大模型的知識與能力持續(xù)進化，形成一套有機循環(huán)的智能系統(tǒng)，參與者越多，受惠者越多，模型進化的速度也越快。
新的智能體系帶來三個優(yōu)勢：一是讓小模型更容易獲取通用的知識與能力，小模型專注在特定場景做極致優(yōu)化，提升了性能與效率;二是解決了過去大模型數(shù)據(jù)集過于單一的問題，小模型在真實場景回收的增量數(shù)據(jù)，讓大模型有再進化的元素;三是全社會不需要重復訓練相似的大模型，模型可以被共享，讓算力與能源的使用效率最大化。
在協(xié)同進化的智能系統(tǒng)下，復雜系統(tǒng)內(nèi)部可以更有機地融合，如城市治理的場景，大腦是治理中樞，邊端是各路攝像頭及邊緣設備。邊端的攝像頭將看到的數(shù)據(jù)進行學習，將學習的結(jié)果反饋給治理中樞，治理中樞再賦能給其他類似場景的攝像頭，形成有機進化的系統(tǒng)。
新的智能體系需要克服三個挑戰(zhàn)，一是大模型與知識常識的融合，將以規(guī)則存在的知識利用起來，提升模型通用能力的同時也降低訓練所需的數(shù)據(jù)量，讓大模型從數(shù)據(jù)驅(qū)動走向知識與數(shù)據(jù)融合驅(qū)動;二是大小模型的協(xié)同機制，包含大模型的知識與能力向小模型降維遷移的有效性、小模型的小樣本學習向大模型的升維融合、不同維度數(shù)據(jù)的清洗與治理等;三是大模型的可解釋性，對大模型依賴上升的同時，信任決定是否能被廣泛使用。
我們預測在未來的三年內(nèi)，在個別領域?qū)⒁源笠?guī)模預訓練模型為基礎，對協(xié)同進化的智能系統(tǒng)進行試點探索。在未來的五年內(nèi)，協(xié)同進化的智能系統(tǒng)將成為體系標準，讓全社會能夠容易地獲取并貢獻智能系統(tǒng)的能力，往通用人工智能再邁進一大步。
文章來源：達摩院DAMO
（轉(zhuǎn)載）
