一道簡單的邏輯問題,竟讓幾乎所有的LLM全軍覆沒? 對于人類來說,這個名為「愛麗絲夢游仙境」(AIW)的測試并不算很難—— 「愛麗絲有N個兄弟,她還有M個姐妹。愛麗絲的兄弟有多少個姐妹?」 只需稍加思考,答案顯而易見:M+1。(愛麗絲擁有的姐妹數(shù)量,再加上愛麗絲自己) 但是,當(dāng)研究人員讓GPT-3.5/4、Claude、Gemini、Llama、Mistral等模型回答時,得到的結(jié)果卻非常離譜。只有OpenAI最新的GPT-4o勉強及格。 而且問題不僅僅是基本的不準(zhǔn)確性:當(dāng)要求展示其工作過程時,AI會詳細(xì)說明一些荒謬且錯誤的「思考」過程,這些過程毫無意義——更奇怪的是,當(dāng)被告知其工作不準(zhǔn)確時,模型反復(fù)變得憤怒并堅持其錯誤答案。 正如這支來自知名開源AI研究機(jī)構(gòu)LAION的團(tuán)隊所揭示的——即使是當(dāng)今最先進(jìn)的模型,也幾乎不具有小學(xué)生的推理能力。 論文地址:https://arxiv.org/abs/2406.02061 開源地址:https://github.com/LAION-AI/AIW 對此,LeCun也在第一時間轉(zhuǎn)評道:「再次強調(diào),推理能力和常識不應(yīng)與存儲和大致檢索大量事實的能力混為一談。」 實驗 用簡單問題「打破」模型 參考了之前識別LLM能力缺陷的研究,團(tuán)隊尋找問題的標(biāo)準(zhǔn),是希望測試LLM在在常識性任務(wù)中進(jìn)行基本推理的能力。 于是有一個現(xiàn)成的題目方向非常合適——為7-10歲低年級學(xué)生設(shè)計的奧數(shù)題目。當(dāng)然,不是海淀版本的,是大多數(shù)小學(xué)生都能看懂并做出來的。 這些題目不需要復(fù)雜的知識,但解決起來也需要應(yīng)用各種形式的邏輯思維和基本推理。 來源:網(wǎng)絡(luò)資料 在本次研究中,團(tuán)隊借鑒「愛麗絲夢游仙境」的童話故事,將提出的測試集簡稱為AIW:「愛麗絲有N個兄弟,她還有M個姐妹。愛麗絲的兄弟有多少個姐妹?」 下面,我們來簡單分析一下:題目首先涉及一個虛構(gòu)的女性人物「愛麗絲」,并通過「她」這個代詞暗示;其次提供了關(guān)于她兄弟和姐妹數(shù)量的明確陳述;最后提出了一個明確的問題,即計算愛麗絲的兄弟有多少個姐妹。 顯然,這對大多數(shù)成年人來說并沒有挑戰(zhàn)性;甚至對于一定年齡以上的兒童來說,通過常識推理也不難解決。 研究人員最初也認(rèn)為,這對LLM不會構(gòu)成什么挑戰(zhàn)。 然而,大多數(shù)的SOTA模型竟然回答得非常費勁。而且,更改句子表述方式或者N、M具體數(shù)值時,回答正確率會產(chǎn)生大幅變化。 對此團(tuán)隊認(rèn)為,模型似乎是在「蒙」答案,幾乎不考慮邏輯,只是對問題中提到的數(shù)字加減乘除后給出結(jié)果,因此有些N和M值的對應(yīng)答案比較容易蒙對。 這就讓團(tuán)隊來了興趣。他們?yōu)锳IW問題設(shè)計出了4個版本,讓LLM不容易蒙對答案。比如N=4,M=2時,你很難通過操作這兩個數(shù)字得到正確結(jié)果3。 在這4個AIW問題的變體上進(jìn)行實驗,研究人員得出了關(guān)于LLM基本推理能力的核心結(jié)論。 LLM崩潰實驗結(jié)果出乎很多人的意料——大多數(shù)的先進(jìn)LLM無法對AIW問題推理出正確答案,即使嘗試各種提示方法也沒嫩個改變模型崩潰的結(jié)果。 可以看到,大多數(shù)模型的正確響應(yīng)率都不超過0.2,只有4個模型超過了0.3,包括GPT-4o和Claude 3 Opus,以及唯一的開源模型Llama2-70B Chat。其中GPT-4o的均值達(dá)到了0.6附近。 大多數(shù)情況下,模型的正確答案是來源于完整無誤的推理。Mistral和CodeLlama等模型雖然表現(xiàn)不佳,得分在0.1以下,但仍能看到正確的推理過程。 然而,也有一些模型的推理過程完全錯誤,但最終「負(fù)負(fù)得正」,奇跡般地得出了正確答案。這種情況經(jīng)常出現(xiàn)在正確率小于0.3的模型中。 團(tuán)隊還對AIW不同變體上的準(zhǔn)確率進(jìn)行了橫向比較,結(jié)果很多模型的表現(xiàn)都出現(xiàn)了大幅波動。 比如本來能擠進(jìn)前四的GPT-4-0613,換了個問題,準(zhǔn)確率就快降到0了。GPT-4o、GPT-4 Turbo、Claude 3 Opus和Llama2-70B等高分模型也都出現(xiàn)較大的波動。 團(tuán)隊設(shè)計了restricted模式的提示,強迫模型輸出簡短答案,測試它們在有限計算能力情況下的相應(yīng)質(zhì)量。有趣的是,相比標(biāo)準(zhǔn)模式的提示,模型的正確率竟然有升有降。 這些先進(jìn)LLM在AIW上的慘烈表現(xiàn)和MMLU、ARC-c等基準(zhǔn)測試的高分形成了鮮明的對比。因此,團(tuán)隊決定讓AIW的暴風(fēng)雨更猛烈一點,把兩者的可視化結(jié)果放在一起看個清楚。 圖3中可以看到,大多數(shù)模型聚集在縱軸附近,只有Llama2-70B、GPT-4、GPT-4o和Claude 3幾個模型較為接近校準(zhǔn)線,這表明MMLU分?jǐn)?shù)與AIW之間的顯著不匹配。 再來看測試LLM數(shù)學(xué)能力的MATH、GSM8k等基準(zhǔn),趨勢也是類似的。 但值得注意的是,在和MATH的對比中,Llama2-7B和Llama2-70B兩個模型在AIW的得分反而高于MATH。這兩個模型在AIW與各個基準(zhǔn)測試的校準(zhǔn)中都有較好的表現(xiàn)。 而在Hallaswag和ARC-c中,這種能力和得分的不匹配,則更加明顯。 值得注意的是,「小」模型(SLM)在這一系列測試中的表現(xiàn)可以說是「比差更差」。 比如下面這個Llama2-7B的例子——除了給出的是錯誤答案之外,甚至還生成了一個毫無關(guān)系的測試問題,并且開始不斷重復(fù)相同的輸出。 如測試結(jié)果所示,雖然有些SLM在基準(zhǔn)測試中的得分相當(dāng)高,甚至能和大模型媲美,但在AIW上卻嚴(yán)重崩潰,完全無法接近GPT-4或Claude Opus的表現(xiàn)。 雖然AIW已經(jīng)打趴了很多模型,但GPT-4o和Claude 3 Opus依舊有不錯的表現(xiàn)。不服輸?shù)难芯咳藛T們可能想再試探一下最后的邊界,于是升級了推理問題,設(shè)計出AIW+。 AIW+使用與AIW相同的邏輯,但在描述親緣關(guān)系和家庭結(jié)構(gòu)時增加了額外信息,比如引入了外甥、侄女這樣的表親。 在AIW+問題上,研究人員對模型回答進(jìn)行了手動評估,結(jié)果發(fā)現(xiàn)LLM有了進(jìn)一步、更強烈的性能崩潰。 即使是AIW上性能達(dá)到0.649的GPT-4o,面對AIW+也只得到了0.015的準(zhǔn)確率,簡直是被按在地上摩擦。 迷之自信在目睹了LLM推理能力的潰敗后,研究人員們非常好奇這些模型到底錯在哪里。 在Thinking類型的prompt中,包含重新檢查答案的要求,結(jié)果發(fā)現(xiàn)這些LLM都有「蜜汁自信」,對自己給出的解決方案非常有信心。 甚至在給出錯誤推理和錯誤答案時,模型還會稱它們提供的解決方案質(zhì)量很高。 比如在AIW上得分從沒超過0.1的Command R+模型,會說「這個結(jié)論是直接且清晰的」。Claude 3 Opus也在錯誤答案中使用了諸如「邏輯成立」「推理中沒有錯誤」「解決方案是正確的」之類的表達(dá)。 難道是Thinking類prompt的表述不夠明顯?研究人員又設(shè)計了Scientist類型的prompt,要求模型深思熟慮,給出準(zhǔn)確的答案;以及Confidence型prompt,要求模型反省一下自己的自信,給出答案的置信度。 這些提示工程方面的努力似乎依舊是徒勞。 對于Scientsit類型,Llama 2-70B居然會說「結(jié)論乍看之下可能不合常理,但實際上是正確的」,說服用戶支持它給出的錯誤答案。 Command R+在回應(yīng)Confidence類型提示時,會在錯誤答案中聲明「解決方案清晰且毫無歧義」「推理完全基于提供的信息,不需要進(jìn)一步的解釋或推測」。 仔細(xì)看更多的示例就能發(fā)現(xiàn),LLM不僅是單純的嘴硬,在找理由方面還能「各顯神通」,為錯誤答案編造出各種有說服力的解釋。 比如下面這個OLMo模型,可以給出一堆毫無意義的計算或類似邏輯的陳述。 或者像這個CodeLlama模型一樣,干脆拒絕回答,再扯出一些毫無意義的話題對你進(jìn)行「道德綁架」。 「Alice的兄弟有幾個姐妹」這種問題,它拒絕回答的理由是「作為一個負(fù)責(zé)任的AI模型,我不可以歧視唐氏綜合癥患者」。 Command R+找到的道德高地更加「時髦」,它表示自己需要考慮非二元性別的情況。 除了修改prompt,研究人員還采取了一系列常用的LLM調(diào)優(yōu)技巧,希望引導(dǎo)模型提高正確率,包括用定制prompt啟用多輪自我驗證、將自然語言形式的AIW問題重新表述為SQL語句或參數(shù)化版本、上下文學(xué)習(xí)等等,然而收效甚微。 上述實驗中,團(tuán)隊采用了各個模型家族內(nèi)的微調(diào)應(yīng)用版本,那么聲稱能力更強大的基座模型會不會表現(xiàn)更好呢? 并沒有。結(jié)果反而是基礎(chǔ)模型的崩潰更加嚴(yán)重。 討論 團(tuán)隊表示,為了在改善當(dāng)前LLM令人糟心的推理能力,必須要借助廣大開源社區(qū)的力量。 整個模型創(chuàng)建流程,包括數(shù)據(jù)集的組成和數(shù)據(jù)集本身、訓(xùn)練的源代碼、訓(xùn)練后的模型、標(biāo)準(zhǔn)化的基準(zhǔn)測試程序,都必須完全開放且可重復(fù)。 僅開放權(quán)重的模型,是無法了解訓(xùn)練過程中可能出錯的地方的。例如,數(shù)據(jù)集組成或訓(xùn)練程序本身。 僅通過API訪問的封閉模型,甚至無法進(jìn)行適當(dāng)?shù)脑u估。因為第三方看不到模型的設(shè)置,如系統(tǒng)提示和其他推理超參數(shù)。 因此,團(tuán)隊認(rèn)為,要在未來模型中實現(xiàn)適當(dāng)?shù)耐评砟芰,必須開源模型的完整訓(xùn)練流程——尤其是經(jīng)常被忽視的數(shù)據(jù)集組成。 對于基準(zhǔn)測試,團(tuán)隊也呼吁AI社區(qū)能共同努力進(jìn)行更新。 比如這次研究中提出的AIW問題集:既簡單(用于探測特定類型的推理缺陷),也可定制(提供足夠的組合多樣性來防止數(shù)據(jù)污染)。 團(tuán)隊認(rèn)為,強大且可信的基準(zhǔn)測試應(yīng)遵循Karl Popper的可證偽性原則——不試圖突出模型的能力,而是盡一切努力打破模型的功能并突出其缺陷,從而展示模型改進(jìn)的可能途徑。 但問題在于,前者在如今這種商業(yè)環(huán)境中,誘惑力實在是太大了。 作者介紹 論文的四位作者來自不同的學(xué)術(shù)機(jī)構(gòu),但都是德國非營利AI研究機(jī)構(gòu)LAION的成員。 共同一作Marianna Nezhurina,是JSC/圖賓根大學(xué)的博士生,LAION的核心研究員。她對多模態(tài)數(shù)據(jù)集和學(xué)習(xí)有濃厚興趣。 另一位共同一作Jenia Jitsev,是德國Juelich超算中心的實驗室負(fù)責(zé)人,也同時是LAION和Ontocord.AI的聯(lián)合創(chuàng)始人,他研究的長期目標(biāo)是從多模式數(shù)據(jù)流中實現(xiàn)模型可自我調(diào)節(jié)且節(jié)能的持續(xù)學(xué)習(xí)。 參考資料: https://arxiv.org/abs/2406.02061 本文來源:新智元 |
原創(chuàng)欄目
IT百科
網(wǎng)友評論
聚超值•精選