當前位置: 華文星空 > 新聞

研究:人工智能在認知障礙測試中表現不佳

2024-12-22新聞
【英國醫學雜誌】最新發表的一項研究顯示,在廣泛用於檢測阿爾茨海默病早期癥狀的測試中,大部份參與測試的人工智能大語言模型都表現出相當於人類輕度認知障礙的跡象。盡管這只是一項基於觀察的研究,但新發現挑戰了人工智能將很快取代人類醫生的假設。
過去幾年,人工智能尤其是大語言模型生成能力取得了巨大進步。在醫學領域,這些發展引發了猜測:這些大語言模型能在醫療任務上超越人類醫生嗎?盡管先前的多項研究表明,大語言模型在一系列醫學診斷任務上表現非常出色,但它們的認知能力變化還需要進一步驗證。
為填補這一知識空白,以色列哈達薩醫療中心等機構的研究人員使用「蒙特利爾認知評估量表」測試了多個領先和公開的大語言模型的認知能力。這些大語言模型包括由美國開放人工智能研究中心(OpenAI)開發的GPT-4和GPT-4o、由美國Anthropic公司開發的「克勞德3.5」以及由美國谷歌公司開發的「雙子座1.0」和「雙子座1.5」。
「蒙特利爾認知評估量表」廣泛用於檢測認知障礙和阿爾茨海默病的早期跡象,通常用於老年人。透過一系列簡短的任務和問題,該測試可以評估註意力、記憶力、語言、視覺空間技能和執行功能等能力。得分最高為30分,通常得分26分及以上被視為認知正常。
測試結果顯示,GPT-4o得分最高——26分,「雙子座1.0」得分最低——16分。所有大語言模型都能很好地完成命名、註意力、語言和抽象等方面的任務,但在視覺空間技能和執行功能測試中都表現不佳。在進一步的視覺空間測試中,大部份大語言模型無法準確解釋復雜的視覺場景。
研究人員表示,在需要視覺抽象和執行功能的任務中,大語言模型幾乎「全軍覆沒」,這表明人工智能在臨床環境中的使用可能會有困難。因此他們開玩笑說,神經科醫生不僅不太可能很快被大語言模型取代,而且他們可能會發現自己將迎來新的「虛擬患者」——表現出輕度認知障礙的人工智能模型。
欄目主編:趙翰露
文字編輯:程沛
本文作者:新華社
題圖來源:上觀題圖
圖片編輯:蘇唯