(資料圖片僅供參考)
“大型語言模型技術(shù)的快速演進(jìn)，已經(jīng)為我們展現(xiàn)了通用人工智能的大框架。下一步，最重要的是讓大模型和現(xiàn)實(shí)世界‘對齊’。在模型自我學(xué)習(xí)、自我迭代過程中，人必須參與其中，以保持機(jī)器與人類價(jià)值觀、思維方式一致，否則可能會(huì)離人類的偏好越來越遠(yuǎn)。”近日，在復(fù)旦大學(xué)管理學(xué)院主辦的復(fù)旦科創(chuàng)先鋒論壇上，復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院教授、MOSS系統(tǒng)負(fù)責(zé)人邱錫鵬如此表示。
?
邱錫鵬 復(fù)旦管院供圖
當(dāng)天，在主題為《MOSS：對話式大型語言模型》的演講中，邱錫鵬介紹了大型語言模型背后的技術(shù)原理，他認(rèn)為好的語言模型需要更好地理解語言與常識(shí)。ChatGPT的三大關(guān)鍵技術(shù)是情景學(xué)習(xí)、思維鏈和自然指令學(xué)習(xí)。
情景學(xué)習(xí)即在上下文語境中學(xué)習(xí)，語言模型會(huì)在提示詞（prompt）中附帶一些例子作為“上文”輸入，再預(yù)測并輸出下文，這改變了傳統(tǒng)的學(xué)習(xí)范式，可以大幅降低下游開發(fā)成本；思維鏈指做大模型示例時(shí)不要只給答案，也要給它推導(dǎo)過程，通過推導(dǎo)過程最終得出正確答案。這是突破模型參數(shù)約束，實(shí)現(xiàn)“涌現(xiàn)”能力的關(guān)鍵技術(shù)；自然指令學(xué)習(xí)指模型能直接理解人類指令，從指令中學(xué)習(xí)、判斷，不斷“對齊”人類的真實(shí)意圖。
演講中，邱錫鵬透漏，其主持研發(fā)的MOSS系統(tǒng)將于4月中旬開源。他指出，MOSS和ChatGPT具有相近的通用語義理解能力，目前在推理能力和事實(shí)類知識(shí)方面還有一定差距。這主要是由于參數(shù)規(guī)模不足造成的，可以通過擴(kuò)大模型規(guī)模來實(shí)現(xiàn)。
“首先是對語言模型基座進(jìn)行架構(gòu)優(yōu)化，這面臨輸入長度、中文編碼、多模態(tài)接入等挑戰(zhàn)；其次是指令微調(diào)，其難度遠(yuǎn)高于預(yù)訓(xùn)練，而讓模型的回答‘對齊’人類思維習(xí)慣也非常困難；最后才是能力強(qiáng)化。”邱錫鵬說，“當(dāng)語言模型向人類的價(jià)值觀和思維方式對齊，并應(yīng)用于真實(shí)世界，無疑將顛覆各個(gè)行業(yè)生態(tài)?！?/p>
關(guān)于人與機(jī)器的關(guān)系，邱錫鵬認(rèn)為，AI替代不了那些AI使用者的工作，人類具有適應(yīng)性和靈活性，更擅長利用AI的能力把工作做得更好。目前AI依然在可控范圍內(nèi)發(fā)展，當(dāng)它成為某種基礎(chǔ)設(shè)施后，如何控制其能力將變得十分關(guān)鍵，相關(guān)的法律法規(guī)、政府的重視、社會(huì)的認(rèn)同，都須參與進(jìn)整個(gè)生態(tài)。
標(biāo)簽：
