人的情緒豈止6種？Google釋出大規模資料集，情感類別提升到28種

編輯：LRS

【新智元導讀】以往的情緒分類研究由於資料的限制，只能侷限於六種基本的情緒分類。好訊息終於來了，Google最近釋出迄今為止最強情緒分類資料集GoEmotions，情緒類別提升到28種，並且每個類別標籤的質量都超高！

網際網路文化的興起，讓NLP研究員也是壓力山大，不光要蒐集傳統的語料，新興的各種梗表達的微妙情緒也只能讓機器學習模型直呼看不懂。

情緒的表達在社交軟體上十分關鍵，影響著人們的交流方式和社交關係的塑造，在語言方面尤其如此，只要幾個詞就能表達各種各樣的微妙和複雜的情感。

因此，使機器能夠理解上下文和情感一直是研究界的一個長期目標，這反過來又將支援各種應用，包括情感聊天機器人、檢測負面情緒的網路行為模型以及改善消費者的互動反饋。

在過去的十年裡，NLP 研究界已經為基於語言的情感分類提供了一些資料，大多數都是人工標註的，涵蓋了多個目標領域，如新聞標題、電影字幕、甚至童話故事，但規模往往相對較小，或者只關注於1992 年提出的六種基本情緒：憤怒（anger）、驚訝（surprise）、沮喪（disgust）、快樂（joy）、恐懼（fear）和悲傷（sadness）。

雖然這些情緒資料能夠對情緒進行初步、粗糙的分類，但這些資料集在建立時也強調需要在更廣泛的情緒集上建立一個大規模的資料集，以在更廣泛範圍促進未來潛在應用。

Google 最近就帶來了一個全新的情緒資料集GoEmotion，包含了58000個人工標註的Reddit 評論，並且將情緒分為28個類別。作為迄今為止標註最詳細的英語情感資料集，Google從心理學和資料適用性上設計了一個GoEmotion情感分類法。

和只有一種積極情緒（joy）的六種基本情緒相比，新的分類包括12種積極情緒、11種消極情緒、4種模稜兩可的情緒類別和1種中立情緒，能夠廣泛適用於需要微妙區分情緒表達的對話理解任務。

資料集的初衷是建立一個以對話資料為重點的大型資料集，其中情感是交流的關鍵組成部分。由於Reddit平臺提供了大量公開的內容，包括使用者與使用者之間的直接對話，因此它也成為了情緒分析的絕佳場景和資源。

為了建立具有廣泛代表性的情感模型，研究人員採用了資料修復措施以確保資料集沒有改變通用性、情感特定性和語言偏見。

這一點尤其重要，因為Reddit的平臺也具有使用者群體的偏差，年輕的男性使用者居多，其中的評論也無法反映全球不同的人口的情緒表達。

並且Reddit 還有一些攻擊性的語言，為了解決這些問題，需要使用預先定義的攻擊性、少兒不宜、粗俗內容以及宗教的術語來識別和過濾劣質評論。

除此之外，Google還對資料進行了額外的過濾，如限制文字長度，並對資料集中所表達的情感和感受進行平衡，防止過度某些情感佔比過多。

GoEmotion分類法在設計的時候主要考慮同時最大化三個目標：

1、最大限度地涵蓋Reddit資料中表達的情緒；

2、提供覆蓋最廣泛的情緒表達型別；

3、限制情緒類別的總體數量，並且不能互相重疊。

這種分類法能夠有效地理解資料驅動的精細情緒，同時也解決了某些情緒的潛在資料稀疏性。

建立整個分類體系是迭代過程，包含定義和細化情緒標籤。在資料標記階段，研究人員實際總共考慮了56種情緒類別。從這些樣本中，消除了那些被標註人員（rater）選擇得很少、與其他情緒相似並且相互作用程度較低的情緒、難以從文字中檢測到的情緒。

並且還額外增加了rater在資料標註過程中建議新增的情緒，這些情緒能夠很好地描述在評論資料中的情緒。

最後，研究人員對情感類別名稱進行了細化，以最大限度地提高可解釋性和相互關聯的一致性，在標籤的設定上，94%的樣本需要至少有兩個rater 同意至少一個情感標籤。

在實驗過程中可以發現，GoEmotion 的分類方法產生的情緒在資料中的分佈並不是均勻的。正向情緒的出現頻率更高，這也讓研究人員意識到僅有六個基礎情緒類別是遠遠不夠的。

為了驗證分類的選擇是否與資料相匹配，研究人員進行了主保留成分分析（principal preserved component analysis, PPCA），這是一種透過提取情感判斷的線性組合來比較兩個資料集的方法，在兩組rater 之間顯示出最高的聯合可變性（joint variability）。它有助於發現rater 之間的情感維度是否高度一致。PPCA常被用來理解影片和語音中情感識別的主要維度，也可以用它來理解文字中情感的主要維度。

透過實驗可以發現每個成分都是顯著的（所有維度的p值<1.5e-6），表明每個情緒都捕捉到資料的獨特部分。這可以說是一個巨大的提升，因為在以前的語言情感識別工作中，30個維度中大約只有12個維度被認為是有意義的。

研究人員還根據rater 的情緒判斷之間的相關性來研究定義情緒的聚類。採用這種方法，當兩種情緒經常被rater 共同選擇時，這兩種情緒可以被聚類在一起。

研究結果發現，儘管GoEmotion 分類法中沒有預先定義情感（sentiment）的概念，但在情感（消極、積極和模稜兩可）方面相關的情緒能夠聚合在一起，表明了rater 的資料標註質量很高，和資料標註的一致性。

例如，如果一個rater 選擇給一個評論的標籤是興奮（excited），那麼另一個rater 也更有可能選擇一種相關的情緒，比如快樂（joy），而不是說選擇恐懼（fear）。

一個比較意外的情況是所有模稜兩可的情緒都能夠聚集在一起，並且它們與積極的情緒更緊密地結合在一起。