學人類預測下一句 納理大AI訓練

【明報專訊】人工智能（AI）聊天機械人技術不斷進步。理工大學研究團隊發現，如果在生成式AI的演算法訓練過程中，採用類似人類處理語言的方式，即模擬人腦預測前後句子關聯，有助聊天機械人的「大語言模型」更人性化地理解語言，「更接近人類智慧」。

團隊指現時「大語言模型」主要依賴上下文單詞預測的單一類型「預訓練」，然而人類平時理解語言不止預測下一個單詞，還會整合和理解高層次信息。團隊將模擬人腦評估句子連貫性的「下一句子預測（Next Sentence Prediction，NSP）」納入模型「預訓練」，並檢驗模型數據與腦活動的相關程度，發現NSP能強化「大語言模型」的能力，稱利用NSP預測前後句子如何互相關聯，與人類語義理解的神經模型非常脗合。研究最近刊於國際科學期刊Science Advances。

稱ChatGPT訓練方式局限多

團隊表示，近期如聊天機械人ChatGPT的「大語言模型」主要透過無限擴充訓練資料和模型規模，以提升能力，但率領研究的理大人文學院院長李平稱，單靠這種「極度擴展」的方式局限多，認為如想突破，就要將大模型變得「更像人腦那樣不需要海量數據，更高效益」。李平又指今次研究有助理解人類大腦有「加工語言」的高級機制，藉此促進AI研究和認知神經科學領域的研究員合作。