除了五位顧命大臣的職務、職責上體現出明顯的制衡性外，為了進一步防止顧命大臣結成黨羽，孝武帝還利用顧命大臣之間原有矛盾最大程度降低他們產生共同利益的可能性。
因為僅以職位、職權制衡顧命大臣是不夠的，只要顧命大臣之間有共同利益，他們就可以結成聯盟，利用各自的職務之便完成“共同目標”，為了防止這種局面出現，最好的辦法就是利用顧命大臣人際關係上的矛盾最大程度降低他們產生共同利益的可能性。
孝武帝的顧命大臣之間的人際關係並不十分和諧。其中，劉義恭與沈慶之、柳元景與王玄謨之間都曾發生過較大矛盾，他們的矛盾在孝武帝朝已經非常突出，作為君主的孝武帝自然心知肚明，但是孝武帝依然將他們共同任命為顧命大臣，很可能就是出於以顧命大臣自身矛盾防止其聯合的心理。
- 劉義恭與沈慶之的矛盾。
永光元年八月，劉義恭、柳元景、顏師伯等以前廢帝狂悖，密謀廢立，“（沈）慶之與江夏王（劉）義恭素不厚，發其事”。此處，史書明確記載沈慶之與劉義恭一向不和。元嘉二十七年北伐之前，沈慶之與劉義恭交集較少。
沈慶之出身寒門，永初元年開始在太守趙伯符麾下任軍職，永初二年沈慶之任殿中員外將軍；任職期間曾隨到彥之、檀道濟北伐。元嘉十九年至元嘉二十七年，沈慶之多次在外伐蠻。而劉義恭自元嘉三年至元嘉十七年，分別任徐州、荊州、南兗州刺史，元嘉十七年劉義康被貶出朝廷後，劉義恭還朝。
直到元嘉二十七年，劉義恭與沈慶之的行動軌跡第一次明確重合，且雙方此次交集並不愉快，這很有可能是沈、劉二人交惡的起源。元嘉二十七年劉宋大舉北伐，沈慶之受輔國將軍蕭斌節度，副寧朔將軍王玄謨作為北伐東路軍前驅；劉義恭則作為諸路軍總統帥出鎮彭城。王玄謨前鋒軍久攻滑臺不克，退兵回碻磝。
沈慶之認為碻磝孤絕、己方軍隊深入敵境，難以死守，但蕭斌等其餘大多數將領皆認為應當留守碻磝，宋文帝也下詔嚴禁退兵。王玄謨以進攻滑臺不力，請求戍守碻磝以將功補過。蕭斌等退還歷城，沈慶之乘驛馳歸，半途中又接到宋文帝詔書令其回救王玄謨。
當時劉宋軍隊進攻不利，頻頻敗退，反使魏軍深入劉宋北方大部，迫近劉義恭所在的彭城。沈慶之無法脫身回救王玄謨，遂被劉義恭留任為府中兵參軍。魏軍兵臨彭城，劉義恭遣沈慶之率三千人抵禦北魏太武帝拓跋燾大軍，“（沈）慶之以為虜眾強，往必見禽，不肯行”。
此時，劉義恭作為北伐諸路軍總統帥，命令沈慶之一介中兵參軍率兵禦敵，沈慶之竟然敢違抗軍令，對劉義恭來說無疑是極大的羞辱。但是對沈慶之而言，劉義恭的命令無疑是令他去送死，當時北魏太武帝親率大軍至卯山，而劉義恭僅給沈慶之三千人拒敵，非但不能拒敵，更有可能喪命，所以沈慶之不肯出戰。劉義恭“性甚狹隘”，很可能由於此事對沈慶之懷恨在心。
孝武帝繼位後，沈慶之作為佐命功臣深受孝武帝信任，而劉義恭雖位高權卻不重，他已經很難有機會為難沈慶之。直到大明三年（459 年）竟陵王劉誕造反，江夏王劉義恭又向孝武帝進讒言，暗示沈慶之故意拖延、不肯盡力進攻劉誕。大明三年四月，沈慶之任車騎大將軍率軍討伐劉誕，直到七月，動亂依然未平定。
孝武帝本性多猜忌，沈慶之長時間不能平定劉誕逆亂，“上每璽書催督之，前後相繼”，並“使御史中丞庾徽之奏免慶之官以激之”，可見孝武帝對沈慶之已經有所懷疑。廣陵城久攻不下，孝武帝很氣憤、欲親征，江夏王劉義恭上表勸止。但劉義恭的勸諫表中，卻極力貶低劉誕勢力，“誕素無才略，蓄養又寡……士庶離散。城內乏糧，器械不足”，又輕描淡寫地說：“臣始短慮，謂一旬可殮，而假息流遷，七十餘日”。
在劉義恭的說辭中，劉誕人力、財力、物力都不足，劉誕本人既無謀略、兵卒又寡，討平劉誕之亂不過是輕而易舉的事情。但當時沈慶之已經發兵討伐劉誕兩月有餘，仍不能攻克廣陵城，本性多疑的劉駿本就對沈慶之心有不滿，劉義恭的表奏則無異於火上澆油，使孝武帝更加激憤。可見劉義恭的言辭對正在前線征戰的沈慶之而言，頗有落井下石之嫌。
幸而劉義恭這次上表後不久，沈慶之就攻陷廣陵城、將劉誕斬首，劉義恭這封表奏才沒有對沈慶之產生很大影響。假使沈慶之未能及時攻陷廣陵、或假使沈慶之被孝武帝撤換，而新任將帥因為有沈慶之兩個多月進攻打下的基礎，迅疾攻陷廣陵城，那麼等待沈慶之或許是通敵謀反的罪名，劉義恭用心之險惡不言自明。
劉義恭為了構陷沈慶之，大肆貶低劉誕一方的勢力，但其實劉誕對孝武帝的發難並非全無準備，這也是沈慶之討伐劉誕耗時較長的原因之一。孝武帝與劉誕不和早有苗頭，孝武帝性多猜忌，他勢必不能容忍劉誕，原因有二。
- 其一，宋文帝準備廢立太子時，曾將劉誕納入儲君人選考慮，由此來看，孝武帝對劉誕就心存芥蒂。
- 其二，劉誕與孝武帝同樣討伐劉劭有功，且在孝建元年劉義宣等反叛時，劉誕全力協助孝武帝穩定朝政，“上流平定，誕之力也”。這說明，劉誕在處理政事方面有相當的能力。
因此，孝武帝繼位以來，一直對劉誕頗相疑憚；劉誕覺察到孝武帝的猜忌後，也一直提防孝武帝對他動手，“（劉）誕既見猜，亦潛為之備”。
因此，劉誕之反雖是在被孝武帝所逼、準備尚不充分的情況下發生的，但畢竟劉誕曾多年準備，廣陵又是軍事重鎮、防守一向堅固，並且當時正值雨季，攻城多有不便，一時難以攻破當是情有可原。但劉義恭所上的表奏中，非但絲毫不為沈慶之說情，反而有落井下石、詆譭構陷之嫌。
劉義恭身在朝廷，未曾親臨戰場，自然可以大言不慚地說“一旬可殮”；而身在戰場上、已經七十多歲的沈慶之為了擺脫與劉誕有勾結的嫌疑，不與劉誕有絲毫接觸，在作戰時也身先士卒，力求讓孝武帝看到他的忠心。
總之，此次劉義恭構陷沈慶之的行為，讓兩人的關係更加惡化。
- 除了沈慶之與劉義恭矛盾重重外，王玄謨與柳元景也曾發生齟齬。
孝建二年十一月至大明二年四月，王玄謨任雍州刺史。大明元年，王玄謨以“雍土多僑寓”，上書請土斷流民。東晉南朝以來，大量北方流民湧入雍州地區，他們中既有士族，也有普通百姓，士族憑藉家族勢力及政府的優惠政策在雍州地區紮根並逐漸擴充勢力，而普通百姓則大多成為豪強大族的依附者。
隨著社會經濟進一步發展，僑寓人口及大量居民開始對國家發展產生不良影響，國家稅收減少，地方勢力的擴大也不利於國家加強中央集權，因此，取締僑寓人口的特權、土斷流民是國家亟待解決的問題。王玄謨在雍州地區實施土斷，既符合孝武帝的利益，也是劉宋國家發展勢必要進行的一項政策。但王玄謨在雍州地區推行土斷卻進行得極不順利：
- 首先，“百姓不願屬籍”，業已依附大族的百姓不願意向國家上繳賦稅，此政策最終不得不罷黜；
- 其次，王玄謨“令九品以上租”，這又侵犯了雍州豪強大族的利益，“境內莫不嗟怨”。
豪強大族在地方上的勢力本就盤根錯節，加之雍州地區是朝廷重臣柳元景家族河東柳氏的聚集地，王玄謨推行土斷極大侵犯了柳氏家族的既得利益，為了阻止王玄謨進一步推行土斷，以柳氏家族為首的雍州地方勢力編造謠言誣陷王玄謨欲反，“民間訛言（王）玄謨欲反”。柳元景的弟弟柳僧景更是“以（柳）元景之勢，制令南陽、順陽、上庸、新城諸郡併發兵討玄謨”，直接出兵討王玄謨。
柳僧景之所以行事如此大膽，是因為柳元景時任領軍將軍、侍中、驃騎將軍等職，他既掌兵權，又是天子近臣，勢力非常大。推行土斷不成反受誣陷的王玄謨處境非常艱難，以孝武帝之多疑，一旦王玄謨當時處理不當或者起兵對抗，恐怕都會使“王玄謨欲反”的謠言坐實，柳僧景等人用心之險惡可見一斑。
面對柳僧景等人的討伐，王玄謨沒有起兵對抗，而是遣使向孝武帝澄清前因後果、稟明忠心，得知真相的孝武帝沒有怪罪王玄謨，反而遣使安撫他，可見孝武帝也知道王玄謨推行土斷之艱難。王玄謨雖然成功化解這次風波，但卻與想要致其於死地的柳元景結怨。
由上可知，劉義恭與沈慶之、柳元景與王玄謨兩兩對立之下，皆有難解之怨，這種矛盾可以最大程度防止他們結成黨羽，因此，孝武帝將他們共同任命為顧命大臣，使他們之間互相制衡。事實證明，孝武帝的安排確實起到了防止顧命大臣團體結盟的作用，但由於顧命大臣之間矛盾過深，反而產生新的權力鬥爭，導致政局動盪，這恐怕是孝武帝沒有想到的。
