劉貴，字貴珍，匈奴族人，劉貴的父親劉乾是北魏肆州刺史。劉貴從小就和高歡交往，兩人是發小，當時高歡家境不好，時常受到劉貴的幫助。劉貴為人正直善斷，仗義豪爽，有很高的政治能力。
早期在爾朱榮手下做騎兵參軍，六鎮起義後，隨爾朱榮一起去鎮壓起義軍。爾朱榮性格急躁，當爾朱榮做出一些不靠譜的決定時，劉貴就會立馬站出來就反駁爾朱榮，讓其認識到錯誤。爾朱榮因此也很欣賞劉貴，而且爾朱榮吩咐劉貴辦的事，每一件劉貴都能辦理妥當。
辦事有能力的員工都會受到老闆的重用，劉貴也慢慢的在爾朱榮集團中有了一定的地位。當時他的發小高歡，從起義軍中來投爾朱榮，卻得不到爾朱榮的重用。知道發小有能力，有本事，卻得不到上位的喜歡。劉貴心裡也著急，於是親自向爾朱榮舉賢，還向爾朱榮說了高歡一大堆好話，因此高歡才在爾朱榮的圈子之中有了位置。
爾朱榮打敗葛榮後，和大家商議擁立誰當皇帝，劉貴主張擁立元子攸為帝。元子攸上位後，劉貴參與擁立新帝的計劃，所以朝廷封劉貴為左將軍、太中大夫、第一領民酋長。永安三年，朝廷拜任劉貴為涼州刺史。
爾朱榮死後，朝廷內部被爾朱世隆掌控，元子攸更不想做籠中鳥，可惜身邊沒有多少軍隊可用。同樣在朝廷的爾朱世隆膽子小，在元子攸派行臺元顯恭讓劉貴帶兵前去抵禦。劉貴打敗了元顯恭，並且把元顯恭和大都督裴俊生擒。爾朱世隆重新回到洛陽後，任命劉貴為徵南將軍、金紫光祿大夫、兼左僕射。
爾朱世隆擁立節閔帝元恭為帝后，劉貴升任為汾州刺史。這時高歡和爾朱家決裂，高歡在廣阿戰敗爾朱兆後，乘機佔領了鄴城。劉貴知道高歡的才能，早期無權無勢，成不了什麼氣候，如今的高歡已是蛟龍入海了。反觀爾朱家，幾個核心人物不合，明裡暗裡都在爭權奪利。
於是劉貴丟棄了爾朱家給他的汾州刺史職位，帶領部下兵馬來鄴城投奔高歡。老朋友的到來，高歡異常開心，甚至高歡都不會懷疑劉貴的忠誠度。早期高歡窮成那個樣子，劉貴都願意與他相交，如今更是舉全家來投奔。
高歡打敗爾朱家後，擁立孝武帝元修為帝，劉貴升任為肆州刺史。劉貴連續在幾個地方做刺史，當時連年征戰，城牆都有部同程度的毀壞。所以每當劉貴去任職時，首先就是先修補防禦工事。對手下十分苛刻，還完全不把手下的命當人命，他的治理手段也很殘酷，很多士兵百姓被他殺死。
但是由於他用威嚴來斷決時務，對處理當時的軍國大事的迅速有益。高歡不僅不怪他，反而很支援他。爾朱榮都能做到容納劉貴，高歡也能做到，何況兩人還是舊相識。
元修跑到關中宇文泰那裡去的時候，還出現了一個佳話。那就是史上最成功的老丈人獨孤信，他對元修可是忠心耿耿，千里追隨元修進入關中。獨孤信的忠心同樣也被宇文泰看在眼裡，這樣的忠義之士，那時候是很受人尊敬的。
沙苑之戰結束後，西魏宇文泰收復弘農，攻克了沙苑。獨孤信和馮翊王元季海進入洛陽，高歡任命侯景、高敖曹、劉貴等人圍攻洛陽。劉貴領軍進攻駐守在金鏞城的獨孤信，並且大敗獨孤信。正準備乘勝追擊的時候，宇文泰率領援兵到來，這才作罷。
圍攻洛陽結束後，劉貴等人班師回朝，沒過多久劉貴就病死了。東魏朝廷給他的謐號為忠武，高洋受禪讓建立北齊後，下詔在劉貴墓前祭告。高演上位後決定讓劉貴陪祭於高歡的廟庭。
