基於深度學習的大腦性別差異分析
溫景熙, 於胡飛, 辛江, 唐豔
中南大學計算機學院，湖南 長沙 410083
摘要：深度學習被廣泛應用於大腦的相關研究中。透過構建深度學習模型對彌散張量成像資料的各向異性分數進行了性別分類，並透過深度學習特徵視覺化方法提取了不同性別的重要特徵，最後對視覺化結果進行了基於體素的分析。結果顯示，提出的模型能夠準確預測性別，並且達到了96.2%的分類準確率。在視覺化的結果中，發現男女大腦之間存在明顯差異，其中存在差異的腦區主要表現在胼胝體、頂葉下葉和基底神經節等，這些腦區揭示了男女之間的大腦差異可能與運動能力、數學運算、身體形象感知和情緒控制等方面的能力相關。
關鍵詞：深度學習 ; 彌散張量成像 ; 性別分類 ; 特徵視覺化
1 引言
研究表明，不同性別的人在認知、行為和智力等方面存在差異。人腦功能在性別之間的差異也非常明顯，主要表現在情感處理、身體感知、數學運算和運動控制等方面。然而，儘管有許多針對性別功能差異的研究，但大多未得到一致的認可。本文致力於大腦性別差異研究，進一步發現和證明男女之間的大腦差異。
磁共振成像（magnetic resonance imaging，MRI）是一種非侵入性成像技術，它利用磁共振原理從人體獲得電磁訊號，從而重建出人體資訊。目前，基於MRI的人腦研究已得到廣泛應用。彌散張量成像（diffusion tensor imaging，DTI）是一種特殊的MRI技術，它透過追蹤大腦纖維束中水分子的移動方向來表徵神經纖維的結構。彌散張量成像可以透過計算各向異性分數（fraction anisotropy，FA）來定量評估神經纖維的各向異性。研究發現，透過計算FA可以觀察大腦發育、衰老過程中的細微變化。目前，有非常多的研究者致力於DTI的性別差異研究。參考文獻透過DTI來觀察不同性別中的白質微觀結構；參考文獻則發現了不同性別與行為發展之間的聯絡。然而也有研究認為，研究的現狀尚不能確定男女大腦是否存在差異，仍需要更多的研究來證明。
深度學習是一種非常強大的機器學習方法，它透過深層網路提取資料中的非線性特性，並透過堆疊多個非線性層來構建複雜的函式模型，這使得深度學習擁有非常強的表徵和學習能力。同時，深度學習還展現了強大的小樣本學習能力，尤其是遷移學習方法，它透過凍結預訓練模型的淺層網路，僅重新訓練最後幾層網路即可達到小樣本下模型的快速學習目的。因此對於難以採集的MRI資料的研究，深度學習方法顯得尤為重要。目前，深度學習已經被廣泛應用到MRI的研究中，並且取得了不錯的效果。在參考文獻中，研究人員利用深度學習對腫瘤進行分類，得到了97%的準確率，而他們的實驗資料只有66個MRI樣本；在參考文獻中，作者利用深度學習確定了大腦中用於區分不同年齡的關鍵腦區。在大腦性別分類方面，同樣有非常多基於深度學習的研究。
研究大腦性別差異，特徵視覺化是必不可少的。在傳統的機器學習方法中，特徵由人手工構造。而在深度學習中，隨著隱藏層的加深，特徵被不斷地抽象，人們越來越難以理解，而提取關鍵特徵也變得非常不易。在一項基於深度學習性別分類的研究中，研究人員嘗試採用逐次保留一個腦區的方式來證明不同大腦腦區的性別差異，並且根據神經網路第一個隱藏層的特徵圖的均值和資訊熵，提出男性大腦比女性大腦更為複雜的可能性。在深度學習的研究中，已有許多可靠的特徵視覺化方法相繼被提出，其中導向梯度類啟用圖（gradient-weighted class activation mapping，Grad-CAM）方法被廣泛推崇。在深度學習MRI領域，Grad-CAM方法也逐漸被應用於大腦的差異分析。在參考文獻關於大腦MRI的年齡預測中，透過Grad-CAM方法發現了大腦額葉區與年齡變化相關。
本文收集了大量DTI資料，透過預處理得到標準大小的FA；然後根據FA構建3D卷積神經網路（3D-CNN），實現大腦性別的可靠分類；最後透過構建3D導向梯度類啟用圖結構實現性別特徵的視覺化，並根據視覺化結果進行性別差異分析。
2 DTI性別分類及特徵視覺化方法
為了研究不同性別之間的大腦差異以及在性別分類中不同腦區的重要性，首先需要保證深度學習模型分類的可靠性；然後提取資料在不同類別中的顯著特徵，透過顯著特徵得到一般性（平均）大腦性別差異；最後將差異對應到各個腦區上，得到腦區的重要性情況。本節將詳細介紹如何透過3D卷積神經網路進行性別分類，並透過神經網路模型的視覺化方法得到與類別相關的重要特徵。在此，輸入神經網路的資料是DTI的全腦FA，即大小為182×218×182的三維腦圖。
2.1 基於3D卷積神經網路的性別分類模型
本文采用3D卷積神經網路進行性別分類。3D卷積神經網路模型結構如圖1所示，模型分為輸入、卷積、全連線和輸出4個部分。其中輸入是一個三維腦圖，輸出是性別分類的結果。在卷積過程中，本文采用全卷積的形式，即在下采樣的過程中使用移動步長為2×2×2的卷積代替步長為2的池化。模型中包含7個卷積層，卷積核大小都為3×3×3，卷積核數量分別為16、32、32、64、64、128、128。在每個卷積層的後面，都有一個批歸一化層和一個LeakyReLU啟用層。在最後一層卷積完成後，將特徵圖伸展成一維，然後進入全連線層。模型中包含2層全連線，第一個全連線層有64個神經元，緊接著一個ReLU啟用層。由於樣本標籤編碼採用獨熱編碼的形式，第二個全連線層共有2個神經元，全連線層後面緊接著Softmax啟用層。
圖1 3D卷積神經網路模型結構
2.2 基於3D導向梯度類啟用圖的特徵視覺化方法
神經網路能夠很好地預測性別，但是不能直接得到深層網路提取到的性別特徵。導向梯度類啟用圖是神經網路模型視覺化的一種方法，它同樣適用於本研究中3D影象的特徵視覺化。該方法的視覺化結果由導向反向傳播圖和特徵熱圖兩個矩陣點乘得到。導向反向傳播圖由深層特徵圖導向反向傳播得到，該圖表示網路模型提取到的所有性別特徵。特徵熱圖先透過類別對深層特徵圖求梯度，該梯度表示特徵圖對預測類別正負影響的大小，然後對i、j、k 3個方向進行全域性平均池化（global average pooling，GAP），得到單個通道上的特徵圖權重：
其中，p表示最後一層特徵圖序列中單個通道上的特徵圖，c表示單個輸入對應的類別，yc表示預測值，
表示第p個通道的特徵圖在i、j、k上的體素，Z1表示最後一層特徵圖中單個通道特徵圖的體素數量。接著，根據這個特徵圖權重對特徵圖進行加權和計算，並執行一次ReLU操作（去除與當前類別無關的值）得到特徵熱圖：
最後，對特徵熱圖進行上取樣（線性插值），得到與原圖大小相同的特徵熱圖。
在全連線之前的特徵圖大小為8×10×8，縮放後大小為182×218×182。線性插值的過程會使得特徵熱圖變得非常模糊且不準確。於是本文對Grad-CAM做了一些改進，如圖2所示。首先透過反向求導得到最後一層特徵圖的梯度值ϕ，然後對該梯度進行一次ReLU操作來去除與類別無關的數值；接著對倒數第二層下采樣（即倒數第三層卷積）後的特徵圖進行一次反向求導，得到對最後一層中與類別相關的資訊的貢獻值，並進行一次全域性平均池化操作，得到單個通道上的特徵圖權重：
其中，
表示倒數第二層特徵圖序列中第q個通道特徵圖的在i、j、k上的體素，Z2表示倒數第二層特徵圖中單個通道特徵圖的體素數量。根據該特徵圖權重對特徵圖進行加權和計算，並執行ReLU操作得到特徵熱圖：
圖2 DTI性別分類特徵視覺化結構
最後，將兩個特徵熱圖根據一定的權值（λ、µ）相加，得到最終的特徵熱圖：
3 實驗與結果分析
3.1 資料集及預處理
本文資料來自美國南加州大學的人類連線組專案（human connectome project， HCP）的公開資料集。該資料集包括1 055個健康成年人腦的彌散張量成像資料，其中男性487個，女性568個，年齡範圍為22~35歲。
在預處理過程中，本文將資料放入功能磁共振成像軟體庫FSL（FMRIB software library）進行格式轉換、B0提取、波腦、渦流矯正和計算張量等，得到各向異性分數。由於FA是一個不標準的三維腦圖，與標準的DTI 1 mm各向同性模板（FMRIB58_FA）存在差異，需要進行一次非線性配準，將FA配準到該標準空間中。最後得到一個大小為182×218×182的三維腦圖。
3.2 全卷積神經網路分類結果比較
由於DTI資料量較少，本文模型採用十折交叉驗證的方式進行模型評估。首先將資料隨機分成10份，並保證每份資料的男女比例儘可能相等，然後分別將其中的一份作為驗證集進行模型驗證。在模型最佳化中，採用交叉熵損失函式來計算損失，最佳化器採用Adam（學習率為0.000 1，衰減率為0.5）。透過反向傳播對模型引數進行最佳化。
透過本文實驗設計的全卷積神經網路，10次驗證的平均分類結果達到了96.2%的準確率。在資料相同且同樣十折交叉驗證的條件下，普通3D-CNN的模型分類準確率為93.3%，相比之下，本實驗模型準確率有了2.9%的提升。而對比機器學習方法支援向量機（support vector machine，SVM）78.2%的準確率，本文模型的準確率提升更大。
3.3 視覺化方法對比
基於Grad-CAM的視覺化方法可以得到導向反向傳播和類啟用圖2個三維矩陣，如圖3所示。其中導向反向傳播矩陣包含了從最深層特徵圖中提取到的所有特徵，這些特徵同時包含了男性和女性的全部特徵，對類別並不敏感，如圖3（a）所示。特徵熱圖則與類別相關，其中由最後一層特徵圖得到的特徵熱圖在較大範圍內顯示了關鍵特徵所在的位置，但圖片面積較大、腦區分佈較多，導致顯著區域過大，難以判斷關鍵特徵所屬腦區，如圖3（b）所示。相比之下，本文提出的特徵視覺化方法得到的特徵熱圖不僅能觀察到更準確的特徵位置，同時還保證了不損失最深層特徵圖提取到的重要資訊，如圖3（d）所示。
圖3 視覺化方法結果對比
在特徵熱圖的權重選擇中，當λ=1、µ=0時，特徵位置非常不明確，無法判斷關鍵特徵所在腦區，如圖3（b）所示；當λ=0.5、µ=0.5時，特徵位置相對改善，但仍然存在一些不明確的區域，如圖3（c）所示；而當λ=0.3、µ=0.7時達到最佳，特徵位置非常明確，同時還儘可能地保留了最深層特徵圖的資訊，如圖3（d）所示。
3.4 性別分類中的重要腦區分析
白質和灰質是人腦的重要組成部分，研究者根據大腦區域功能的不同進行腦區劃分。根據國際腦圖譜協會的劃分標準，將大腦白質分成48個感興趣腦區（白質標籤JHU-ICBM-labels）。同時，根據人類腦網路組圖譜（human brainnetome atlas）的劃分方法，將大腦灰質分成246個感興趣腦區（灰質標籤BN_Atlas_246）。由於預處理時將FA配準到了標準空間，可確定每個輸入資料的腦區位置是固定的，可以根據不同腦區對應特徵熱圖的體素值之和，得到不同腦區在性別分類中的重要性排名。如圖4和圖5所示，在性別分類中不同腦區對類別的貢獻是不一樣的，有些腦區對性別分類起到了非常重要的作用。
圖4 白質感興趣區域體素和排名（各腦區根據體素和大小升序進行標籤）
圖5 灰質感興趣區域體素和排名（各腦區根據體素和大小升序進行標籤）
在圖4中，男性和女性排名最高的兩個白質腦區都為胼胝體壓部和小腦中腳。胼胝體橫跨縱向裂縫的一部分，連線左右大腦，從而使它們之間能夠進行通訊。有研究認為，男性胼胝體與半球內的聯絡更大，而女性胼胝體與半球之間的聯絡更為緊密。小腦中腳是連線小腦與腦橋的結構，是將小腦與腦橋相聯絡的高階神經中樞，它保證了隨意運動的精確和有效。研究表明，運動和運動強度與小腦功能連通性變化相關。因此，本研究結果顯示，小腦中腳存在性別差異，可能與成年男女運動強度和運動量有關。
在圖5中，男性排名最高的兩個灰質腦區分別為左腦頂葉下葉腹側區（IPL, A39rv_L）和額上回中間區（SFG, A9m_R），女性排名最高的兩個灰質腦區分別為右腦頂葉下葉腹側區（IPL, A39rv_R）和梭狀回腹腔區（FuG, A20rv_R）。頂葉下葉腹側區是頂葉的一部分，該區域跟語言功能、數學運算和身體形象感知等功能有關。本研究中男性左腦頂葉下葉和女性右腦頂葉下葉分別排名較高，體現了不同性別在該腦區存在差異，同時揭示了在左右腦的頂葉下葉之間存在功能差異的可能性。此外，額上回是與自我意識相關的腦區，與感覺系統的動作相關。梭狀回的功能目前尚不清楚，有研究認為該腦區可能與顏色資訊處理相關。
3.5 男女平均顯著特徵對比及分析
為了顯示一般情況下顯著特徵所在腦區，需要找到顯著特徵所在位置。因此在不同性別的全腦中，本文將特徵熱圖按體素求平均，得到平均結果。如圖6所示，平均顯著特徵主要分佈在胼胝體壓部和左腦基底神經節背尾狀兩個腦區。其中，基底神經節是一組大腦皮層下核的總稱，它與大腦皮層、丘腦和腦幹等腦區緊密相連。基底神經節具有多種功能，包括控制自主運動、程式學習、認知和情緒等。此外，基底神經節在性別中也存在差異，如參考文獻[39]認為不同性別可能會影響基底神經節的體積。從圖6（b）、圖6（d）可知，不同性別在左腦基底神經節背尾狀的特徵都較為顯著，這可能是該腦區在不同性別中的結構或者纖維束存在差異。該實驗結果至少揭示了在控制自主運動能力、程度學習能力或者情緒變化等大腦功能中的一種或幾種性別差異。
圖6 男女顯著特徵對比
3.6 男女之間不同腦區的差異
在參考文獻中，作者透過神經網路第一個隱藏層得到的特徵圖的均值和資訊熵，發現男女之間存在差異。尤其是資訊熵，在32個特徵圖中男性資訊熵大於女性的明顯較多。該研究發現，在特徵熱圖分腦區的體素值求和中，男性數值大的腦區也明顯多於女性。其中，在白質中男性體素值之和大於女性的腦區為39個，女性大於男性的腦區為9個；在灰質中男性體素值之和大於女性的腦區為239個，女性大於男性的腦區為7個。這些結果進一步發現和證明了男女大腦之間存在非常大的差異。
4 結束語
本文使用深度學習方法在DTI資料上進行了性別分類，並使用深度神經網路視覺化方法對性別特徵進行了提取和分析。在模型分類中，本文提出的全卷積網路模型達到了更高的分類精度。在視覺化方法中，本文透過最後兩層下采樣後的特徵圖獲得特徵熱圖，從圖3可以看出，在視覺化的結果中顯著特徵的位置更為準確。本文根據特徵熱圖的體素值來進行腦區排名和求平均顯著特徵。從圖4和圖5可以看出，不同腦區在不同性別中的重要性是不同的，尤其表現在白質中的胼胝體壓部和小腦中腳，灰質中男性的左腦頂葉下葉腹側區和額上回中間區及女性的右腦頂葉下葉腹側區和梭狀回腹腔區。從圖6可以看出，性別分類的顯著特徵主要表現在胼胝體壓部和左腦基底神經節背尾狀兩個腦區。本文還透過特徵熱圖的分腦區的體素值求和發現，無論在白質中還是在灰質中，男性數值大的腦區都遠遠多於女性。上述所有結果都證明了男女大腦之間存在明顯差異，尤其是胼胝體、頂葉下葉和基底神經節等多個腦區，它們與運動能力、數學運算、身體形象感知和情緒控制等方面相關。
本文提出的可靠的深度學習分類方法將有機會被用於臨床分析。透過模型得到的一般性男女大腦結構將有利於發現與性別相關的疾病患病情況和觀察大腦的病變過程。本文設計的深度學習分類模型以及視覺化方法也為以後對大腦MRI的各種研究提供了參考。本文在視覺化結果中進一步發現和證明了大腦的性別差異，其中主要的差異表現在胼胝體、頂葉下葉和基底神經節等腦區中。該結果對分析大腦性別差異具有一定的參考價值，同時也為以後更深入、更具體的性別差異分析提供了一定的指導。
然而，本文的深度學習模型雖然能夠準確地預測性別，但本文資料來自單個數據域，並不一定能夠很好地解決來自不同資料域的性別分類問題。此外， MRI特徵視覺化一直都是非常重要的研究內容，尤其在DTI資料中，當前的研究仍然缺少有效的方法。在未來的工作中，筆者將繼續研究不同性別的人的大腦MRI資料，從而進一步發現和證明男女之間的大腦差異。
作者簡介
溫景熙（1993-），男，中南大學計算機學院碩士生，主要研究方向為醫療影像處理、模式識別、影象處理等。
於胡飛（1994-），男，中南大學計算機學院碩士生，主要研究方向為深度學習、影象處理、醫療大資料等。
辛江（1994-），男，中南大學計算機學院碩士生，主要研究方向為資料探勘、醫療大資料、網路大資料、深度學習等。
唐豔（1976-），女，中南大學計算機學院副教授，主要研究方向為醫療影像處理、醫療大資料、深度學習等。
聯絡我們:
Tel:010-81055448
010-81055490
010-81055534
E-mail:[email protected]
http://www.infocomm-journal.com/bdr
http://www.j-bigdataresearch.com.cn/
轉載、合作：010-81055537
大資料期刊
《大資料（Big Data Research，BDR）》雙月刊是由中華人民共和國工業和資訊化部主管，人民郵電出版社主辦，中國計算機學會大資料專家委員會學術指導，北京信通傳媒有限責任公司出版的期刊，已成功入選中國科技核心期刊、中國計算機學會會刊、中國計算機學會推薦中文科技期刊，並被評為2018年、2019年國家哲學社會科學文獻中心學術期刊資料庫“綜合性人文社會科學”學科最受歡迎期刊。
關注《大資料》期刊微信公眾號，獲取更多內容
