1942年8月1日，由八路軍山東縱隊機關為主組成魯中軍區，羅舜初任司令兼政委。
1945年八九月間，山東軍區以主力及基幹部隊組建了8個野戰師、12個警備旅，這8個野戰師中濱海軍區、魯中軍區、膠東軍區各組建兩個，魯南軍區、渤海軍區各組建一個，其中魯中軍區主力改編為山東軍區第3、第4師和警備第1、第2、第3、第4旅。
8月中旬，晉察冀軍區所屬冀熱遼軍區8個團1.3萬餘人挺進東北，其中16軍分割槽司令曾克林、政委唐凱，奉命率領4個團4000餘人進至遼寧省瀋陽、本溪地區，10月擴編為第21、第23旅。
11、12月間，魯中軍區政委羅舜初，率領山東軍區3師、警備3旅共9000餘人，先後進至遼寧遼陽、鞍山地區。
1946年1月，由山東軍區3師、警備3旅，冀熱遼16軍分割槽所轄之第21、第23旅等部合編為東北民主聯軍第3縱隊，縱隊部由東北民主聯軍遼東（南滿）軍區領導機構兼，程世才任縱隊司令，羅舜初任政委，曾克林任副司令，唐凱任副政治委。下轄：第7旅由山東軍區3師為主改編，第8旅由冀熱遼軍區16分割槽21旅改編，第9旅由山東軍區警備3旅及第16軍分割槽23旅合編，全縱隊共2.6萬餘人。
7月，旅改稱師。
11月，3縱縱隊部與遼東軍區領導機構分開，曾克林（後韓先楚）任縱隊司令，羅舜初任政委，解方任副司令兼參謀長，唐凱任副政委兼政治部主任。
隨後，3縱在遼陽、本溪地區作戰，後參加四平保衛戰、四保臨江作戰，贏得“旋風部隊”的美譽，並參加1947年東北夏、秋、冬季攻勢作戰。
著名的四保臨江戰役，主要依靠的就是3縱。
1948年1月，東北民主聯軍3縱改稱東北野戰軍第3縱隊。
9～11月，遼瀋戰役，40軍在攻克義縣後，擔任主攻錦州的任務，7師20團以頑強的精神拿下了城防要塞配水池，爾後7師19團和8師23團首先突破錦州城牆。
遼西會戰，圍殲國民黨軍“西進兵團”，21團、19團1營和7師炮兵營在胡家窩棚殲滅廖耀湘兵團前進指揮所，俘東北“剿總”副總司令兼兵團司令官廖耀湘，為全殲國民黨軍“五大主力”之二的新1軍、新6軍做出了貢獻。
韓先楚 羅舜初
1948年11月，東野3縱改編為中國人民解放軍第40軍，韓先楚任軍長，羅舜初任政委，各師依次改編為第118、第119、第120師，獨立1師調歸40軍建制改稱第153師，全軍共5.9萬餘人。
12月～1949年1月，平津戰役，40軍先攻佔北平南苑機場，後執行包圍北平的任務。北平和平解放後，118師參加北平入城式。
同月，40軍執行對國民黨軍101軍軍部的改編任務，後隨12兵團執行先遣南下任務，由北平南下。
4～5月，參加渡江戰役，與43軍一起解放華中重鎮武漢。
5月，羅舜初任軍長（後由兵團第二副司令韓先楚兼），卓雄任政委（後袁昇平）。
6月，153師調歸武漢警備司令部建制。
7月，參加湘贛戰役。
9～10月，編入進軍華南的中路軍，在衡寶戰役中擔負正面突擊任務，與兄弟部隊共同殲滅國民黨第7軍軍部及4個精銳師。
11～12月，歸四野直接指揮參加廣西戰役，連續21晝夜追擊國民黨潰軍，爾後集結於欽州、防城、合浦地區。
1950年3～5月，40軍在15兵團指揮下參加海南島戰役，先以小部隊偷渡，後以大部隊強渡登陸成功，並向三亞方向追擊撤逃的國民黨軍。118師是解放海口的主力部隊，352團1營被授予“渡海先鋒營”榮譽稱號。
華中、華南大陸解放後，部分漏網殘敵逃往海南島，加上島上原有的陳濟棠部共有五個軍，海軍艦艇50餘艘，空軍飛機55架，特種兵及地方團各一部，共約10萬人，統由瓊崖保安司令兼防衛總司令薛嶽指揮。
守軍仰仗海峽寬闊及海空軍優勢組成的立體防線，企圖長期固守，並與臺灣、舟山、金門、萬山等島嶼，構成一條封鎖大陸的鎖鏈，並期望將海南島作為日後反攻大陸的跳板。
此時，40軍和43軍已調歸四野15兵團建制，兵團司令鄧華正式接受解放海南島的任務。
1950年2月1日至2日，由華南分局第一書記、廣東軍區司令兼政委葉劍英主持，召開了由15兵團、40軍、43軍及瓊崖縱隊首長參加的廣州會議。會議決定採取“積極偷渡、分批小渡與最後強行登陸相結合”的戰役指導方針，即首先以小部隊分批偷渡，加強島上力量，爾後以主力在瓊崖縱隊及先期登陸部隊的策應下強行登陸。
此時，正在蘇聯訪問的毛主席，亦十分關注解放海南島的作戰。當他得知上述指導方針和實施計劃後，立即回電：“同意以一個團先行渡海，其他部隊陸續分批尋機渡海。”並說：“此種辦法如有效，即可能提早解放海南島。”
3月5日和10日，40軍和43軍各一個加強營，先後向海南島發起首批偷渡，並均取得成功，與瓊崖縱隊勝利會合。
3月底，40軍一個加強團2937名勇士；43軍一個加強團3733名勇士，分別乘坐木帆船偷渡成功。
兩軍先後渡過的9個加強營，已有一個師的兵力，再加上瓊崖縱隊，使得島上接應力量已大大加強。據此，兵團決定於4月中旬集中兩個軍主力，舉行大規模的渡海登陸作戰。
4月16日19時30分，40軍六個團在15兵團副司令兼40軍軍長韓先楚的率領下，43軍二個團在43軍副軍長龍書金的率領下，分乘500多艘木帆船和少量機帆船，從雷州半島向海南島駛去。
“遇到敵艦，要橫下一條心，打！木船即使被打壞，抱著木頭我們也要游到海南島登陸！”兵團司令鄧華向渡海大軍下達最後動員令，此刻早已化作了2萬餘名勇士的決心。
就在這天夜晚，薛嶽也向部下發出了密電：“今晚北面共軍電臺活動頻繁，各據點務必注意，不可輕心。”
深夜23時許，渡海大軍船隊與敵艦交火，除以裝有57戰防炮和山炮的土炮艇與敵艦展開激戰外，主力船隊則冒著炮火破浪前進。
土炮艇不僅掩護了主力船隊橫渡海峽，且擊沉敵艦一艘，擊傷敵艦兩艘。在與敵旗艦“太平號”戰鬥中，將敵海軍第二艦隊司令王恩華擊斃。
17日凌晨3時至7時，經過徹夜海戰和奮進，渡海大軍突破“立體防線”，分別在海南島正面強行登陸。
強渡大軍登陸並與接應部隊會師，開始向海南島縱深發展。
17日晚，薛嶽將戰役機動部隊共計5個半師，全部調往43軍兩個團的登陸地區，企圖乘43軍立足未穩、登陸兩軍尚未靠攏之際，將43軍這兩個團壓縮、圍殲於濱海。
43軍的將士們在敵我力量極為懸殊的情況下，與敵展開了空前慘烈的拼殺。此時43軍部隊雖已將敵兩個團包圍，但敵5個半師的援軍也已相繼趕來，又對43軍實施了反包圍，致使處於兩面作戰的困難境地。
鄧華一面命令43軍克服一切困難，拼死拖住敵人，一面急令40軍登陸部隊戰勝疲勞，迅速向43軍靠攏，合力圍殲敵軍。
21日17時，韓先楚率領40軍趕到，與43軍形成對敵合圍態勢。
22日，40、43兩軍協同擊破敵一個軍和兩個師的抵抗，殲其一部，同時全殲被圍之敵。
當43軍正處於兩面作戰，腹背受敵之時，薛嶽一心以為佔絕對優勢的國軍必勝無疑。搭好了會臺，就準備召開慶功會了，但兩軍美亭決戰的大勝，徹底打碎了薛嶽的如意算盤。
22日，薛嶽唯恐再遭全軍覆沒的下場，連忙下達了總撤退的命令，他本人乘飛機逃往臺灣。
23日，海口市解放。（去年是渡江解放南京）
24日凌晨1時至4時，43軍後續的五個團也先後順利登陸，進一步加強了攻擊力量，會同先上島的部隊分三路追擊南逃之軍。
東路40軍119、120師和43軍128師及瓊崖縱隊第3總隊、獨立團等自海口、文昌經萬寧、陵水向南追擊，於30日佔領榆林、三亞；
中路43軍127、129師自澄邁經那大向北黎、八所進擊；
西路40軍118師分水、陸兩路，配合43軍29師主力和127師380團，於4月30日～5月1日和瓊崖縱隊第1總隊一起佔領重要港口北黎、八所，殲國民黨4軍286師和90師1個團，國民黨餘部從榆林港登船撤逃。
為追殲逃敵，部隊平均每日休息時間不到四小時，此次追擊戰比之廣西戰役中的大包抄更為困難和激烈。六晝夜向南猛插300 餘公里，至此，海南島全境解放。
是役歷時58天，傷亡4500餘人，共殲敵 3.3 萬餘人，其餘大部從海上逃走。
海南島戰役，首創以木帆船橫渡海峽，打敗了鋼鐵軍艦及“立體防線”的戰爭奇蹟，為解放其他島嶼的作戰提供了寶貴經驗。
1950年6月，40軍奉命進至遼寧安東（今丹東），編入東北邊防軍，10月編為志願軍。
10月19日，40軍由遼寧安東跨過鴨綠江，軍長為溫玉成（溫玉成在文革中成為了突然崛起的紅人，後來做到了副總參謀長）。
彭德懷先於志願軍大部隊入朝勘察軍情，原定要在清川江以北建立一條防禦線，先阻擋住聯合國軍，再尋機破敵。不料聯合國軍速度極快，大膽冒進，已越過了原定防禦線，於是一場遭遇戰發生了。
10月25日晨，40軍118師和120師最先趕至前線，迎頭遇上聯合國軍先頭部隊韓1師北進，雙方發生激戰。
在120師打響兩小時後，118師也與敵軍接了火。118師遭遇大搖大擺北進的韓6師的一個加強營加炮兵分隊，一聲令下，118師突然發起攻擊，354團兇猛出擊，一頓手榴彈迫擊炮，然後就是漫山遍野的白刃追殺，這仗打得乾淨漂亮，20多分鐘就結束了戰鬥。
40軍揭開了志願軍入朝參戰的序幕，首戰告捷，打出了國威軍威，後10月25日定為中國人民志願軍出國作戰的紀念日。
旗開得勝後，118師和120師乘勢進攻，經一夜激戰，殲滅韓6師2團大部。
當時韓6師7團已凸入志願軍後方，前鋒直抵鴨綠江邊，118師便回頭去收拾韓7團，此時韓7團正在鴨綠江邊洋洋得意地隔江向中國境內開槍放炮，突遭118師猛烈打擊，頓時潰敗，被收拾了大半，其餘散入深山逃命去了，光俘虜就抓了700多。
與此同時，119師和120師分路出擊，擊潰了韓6師和韓8師，俘敵近千人。
其後，40軍乘勝追擊，一路連破韓8師、美騎1師、美24師數道阻擊線，將聯合國軍趕至清川江邊。
在整個第一次戰役中，40軍連續戰鬥12晝夜，共殲滅美韓軍5600餘人，繳獲火炮235門、汽車477輛。
第二次戰役，40軍緊靠38軍和39軍，從正面猛攻美2師，118師擊退美2師9團，120師擊潰美25師24團一部，119師一路向西倉穿插，一直追到安州。
40軍配合39軍解放了平壤，又一直向南追到三八線地區。
第三次戰役，40軍不顧傷亡，在冰天雪地中徒涉臨津江，突破聯合國軍的防線，擊潰韓6師，強渡南漢江。
此時，志願軍減員嚴重，急待休整，而美第八集團軍司令李奇微卻發起了北進攻勢，第四次戰役又開始了。
為打破優勢敵軍的進攻，40軍轉到東線與39、42、66三個兄弟軍一起發起橫城戰役，全殲韓8師和美2師一個營，共1.22萬餘人。
其後，40軍出動3個團圍攻中部戰線結合部砥平裡，這場戰鬥打得極為慘烈，被圍的美法軍縮成一團，以過於猛烈的炮火頑強阻擊，志願軍6個團反覆衝擊3天，遺屍遍野，卻無法拿下這個鋼鐵堡壘。在美軍增援部隊的狀況下，志願軍只好灑淚撤退，被大雪掩蓋在戰場上的40軍屍體有2000多具。
第四次戰役後期防禦階段，40軍在金化以北節節抗擊，苦戰42天，連戰美陸戰1師、騎1師、美24師、美25師、韓6師，殺傷敵軍5000餘人。
第五次戰役，40軍向南穿插以割裂聯合國軍防線，40軍一路猛進，經5天穿插，突進60公里，完成了預定任務。但全域性並不樂觀，美軍且戰且退，用火力消耗志願軍的進攻，直至志願軍攻勢怠盡。
在志願軍全線後撤之際，聯合國軍發起了迅猛反擊，一時打得大家措手不及。
隨後，亟待休整的40軍撤回後方休整。
1952年4月，40軍再次進至中部戰線擔任守備任務，參加了冷槍冷炮運動、坑道戰、戰術反擊作戰等。
12月，40軍又後撤執行西海岸反登陸任務。
1953年7月，40軍由朝鮮回國，長期駐守遼寧錦州。
40軍參加了抗美援朝戰爭的全程，在三年作戰中，統計斃傷俘敵43300餘名，自身傷亡2萬餘人。
1985年，40軍改編為第40集團軍，轄118，119，120三個步兵師，並編入坦克5師、炮兵旅（原炮兵11師縮編）和高炮旅。
1996年，120師改為武警機動師。
1998年後，40集團軍全軍旅團化，118師、119師則改為摩步旅，坦克5師改編為裝甲旅。
