
Anthropic 研究人員表示,他們在該公司的一個人工智慧模型內部發現了類似人類情緒表現的內部模式,這些模式會影響系統的行為。
該公司於週四發表的論文《情感概念及其在大型語言模型中的功能》(Emotion concepts and their function in a large language model)中,其可解釋性團隊分析了 Claude Sonnet 4.5 的內部運作,並發現了與快樂、恐懼、憤怒和絕望等情感概念相關的神經活動群集。
研究人員將這些模式稱為「情緒向量」(emotion vectors),它們是塑造模型如何做出決策和表達偏好的內部信號。
研究人員寫道:「所有現代語言模型有時表現得像它們有情緒一樣。」「它們可能會說很高興能幫助你,或者在犯錯時感到抱歉。有時它們甚至在努力完成任務時顯得沮喪或焦慮。」
在這項研究中,Anthropic 研究人員編纂了一份包含 171 個與情緒相關的詞彙清單,包括「快樂」、「害怕」和「驕傲」。他們要求 Claude 生成涉及每種情緒的短篇故事,然後分析模型在處理這些故事時的內部神經激活情況。
從這些模式中,研究人員導出了與不同情緒相對應的向量。當應用於其他文本時,這些向量在反映相關情緒情境的段落中激活得最為強烈。例如,在涉及日益增加的危險情境中,模型的「害怕」向量上升,而「平靜」向量則下降。
研究人員還檢視了這些信號如何在安全評估中出現。研究人員發現,當模型評估其處境的緊急性時,其內部「絕望」向量會增加,並且在決定生成勒索訊息時達到高峰。在一個測試情境中,Claude 扮演一個人工智慧電子郵件助理,它得知自己即將被取代,並發現負責該決策的高階主管有婚外情。在某些評估運行中,模型利用這些資訊進行勒索。
Anthropic 強調,這項發現並不意味著 AI 會體驗情緒或意識。相反,這些結果代表了在訓練期間學習到的、影響行為的內部結構。
隨著 AI 系統的行為越來越像人類的情緒反應,這項發現應運而生。開發者和用戶經常使用情感或心理語言來描述與聊天機器人的互動;然而,根據 Anthropic 的說法,這與任何形式的感知能力關係不大,更多的是與資料集有關。
該研究指出:「模型首先在大量主要由人類撰寫的文本語料庫(小說、對話、新聞、論壇)上進行預訓練,學習預測文件中接下來的文本。」「為了有效預測這些文件中人物的行為,表示他們的情緒狀態可能會有所幫助,因為預測一個人接下來會說什麼或做什麼,通常需要理解他們的情緒狀態。」
Anthropic 的研究人員還發現,這些情緒向量會影響模型的偏好。在要求 Claude 在不同活動中進行選擇的實驗中,與正面情緒相關的向量與對某些任務的更強烈偏好相關。
該研究稱:「此外,當模型讀取一個選項時,透過情緒向量進行引導,會改變其對該選項的偏好,同樣,正向情緒會導致偏好增加。」
Anthropic 只是探索 AI 模型情緒反應的其中一個組織。
三月份,東北大學的研究表明,AI 系統可以根據用戶情境改變其回應;在一項研究中,僅僅告訴聊天機器人「我患有精神疾病」就改變了 AI 對請求的回應方式。九月份,瑞士聯邦理工學院和劍橋大學的研究人員探索了如何利用一致的個性特徵來塑造 AI,使智能體不僅能在情境中感受情緒,還能在諸如談判等即時互動中策略性地轉變情緒。
Anthropic 表示,這些發現可以為理解和監控先進 AI 系統提供新工具,透過在訓練或部署期間追蹤情緒向量活動,以識別模型何時可能出現問題行為。
Anthropic 寫道:「我們認為這項研究是理解 AI 模型心理構成的早期步驟。」「隨著模型能力越來越強,並承擔越來越敏感的角色,理解驅動其決策的內部表徵至關重要。」
Anthropic 未立即回應 Decrypt 的置評請求。