1944年夏，由於太平洋戰場的失利，已經深陷泥沼的日本侵略軍為了打通大陸交通線，挽回敗局，悍然出重兵向我河南大舉進攻。駐守河南的國民黨湯恩伯部40萬軍隊一戰即潰，僅1個多月時間，河南境內黃河以南平漢鐵路以西大片國土淪人敵手。
黨中央、毛主席為了收復並控制中原戰略要地，從戰略上將陝北、華北、華中地區連結起來，於7月發出向河南進軍的命令，決定組建河南軍區和河南區黨委，由王樹聲任軍區司令員，戴季英任區黨委書記兼軍區政委；要求從太行、太嶽抽調部隊，儘快挺進豫西，開闢豫西抗日根據地。遵照黨中央、毛主席的戰略部署，八路軍派皮定均、韓鈞、張才千等支隊和劉昌毅率領的六支隊，於9月下旬至次年1月相繼奔赴河南。先後到達河南的部隊，在八路軍總部和河南軍區的領導下，在當地黨組織的配合和人民群眾的支援下，經過一年多的艱苦奮戰，沉重地打擊了日偽及頑軍，收復了大片失地，解放了800多萬人民，建立了包括1個行署、6個專署、26個縣的抗日民主政權，建立了北抵黃河、南接伏牛(山)、西起崤山、東鄰平漢(線)、雄踞中原的豫西抗日根據地，遏制了日軍西進。
1944年底，先期到達豫西的抗日先遣支隊經過艱苦鬥爭，在嵩(山)、箕(山)、伊(川)、洛(寧)等地區建立了抗日民主政權。但是，由於日寇在鄭州至潼關間的隴海線上及洛陽至南陽間各據點駐有重兵，加上當地反動勢力強大，我軍兵力不足，給開闢根據地的工作帶來很大困難。先遣部隊電請黨中央和劉伯承、鄧小平、滕代遠同志增派部隊加強我軍在豫西的力量。12月，李達同志向豫西抗日先遣支隊傳達黨中央和八路軍總部的指示，決定從太行軍區抽調精幹部隊和指揮員，再組建一個支隊，擴充套件豫西根據地，命令以三八五旅十三團為基礎，立即組織，迅速準備，深入動員，兼程趕到。是年12月，劉昌毅奉上級指示對該團進行整頓。此後，該團在太嶽戰役及焦作、崇義、渡口等戰鬥中，都打得勇猛頑強，表現很出色。按照總部首長的指示，我們即以十三團二營、三營和從一、二、四、五分割槽抽調來的部分連隊，組成了八路軍（南下）六支隊。支隊下轄三十六、三十七兩個團，每團編5個步兵連1個機炮連、1個特務連，約900人。整個支隊2300餘人，劉昌毅任支隊司令員，張力雄任政委，胡鵬飛任參謀長，陳文琪任政治部主任；劉勝斌、李定海分別任三十六團團長、政委，胡大祥、何德慶分別任三十七團團長、政委。
1944年12月中旬，支隊在河北省涉縣河南店進行了為期半月的整訓。臨出發前八路軍前總代參謀長滕代遠同志來到部隊，代表黨中央和總部講了話，他指出：開闢豫西抗日根據地，可依託伏牛山，控制隴海、平漢線，牽制洛陽、鄭州、許昌之敵，使鄂豫皖、華北太行、太嶽以及豫東等敵後抗日根據地連結起來，這樣既有利於阻止日寇對正面戰場再次發動戰役進攻，又為奪取抗戰最後勝利準備了條件。這是一次有重要戰略意義的行動。中央要求六支隊指戰員嚴格遵守豫西人民的風俗習慣，執行三大紀律八項注意；充分發動人民群眾，爭取和團結一切抗力量，加強統一戰線工作，擴大我軍抗日影響；廣泛開展人民游擊戰爭，建立抗日民主政權；發揚我軍優良傳統，一面打仗一面生產，儘量減輕人民負擔。他還勉勵部隊說，你們的務是艱鉅的，也是光榮的，只要堅決執行黨的政策，加強部隊政治思想工作，軍民團結一致，就一定能夠奪取抗戰的最後勝利。經過整訓，幹部戰士認清了當前的形勢和南下的任務，明確了黨的方針政策，增強了紀律觀念。整個部隊士氣高昂，鬥志旺盛，於1945年1月下旬踏上了南下豫西的征程。
從太行到豫西，沿途有敵偽的封鎖線，加上當時正值隆冬，天寒地凍，北風刺骨，部隊行軍作戰很困難。但六支隊指戰員發揚不畏艱險、勇往直前的革命精神，邊走邊打，晝夜兼程，走高平，過陽城，越王屋（山），渡黃河，跨隴海（線）長驅300餘公里，克服種種艱難險阻，終於在3月初進入豫西澠池縣境。2月中旬，部隊在河南濟源縣的東、西窩之間踏冰過黃河時，對岸偽軍企圖阻止我軍透過，支隊司令劉昌毅當即派偵察部隊冒著槍林彈雨，強行過河，將守敵一箇中隊全部殲滅，佔領灘頭陣地，掩護全支隊順利通過了黃河天險。部隊路過澠池縣時，先期南下的二支隊正與當地土頑作戰，應韓鈞同志再三要求，六支隊配合他們消滅了這股土頑。然後，繼續向嵩山地區挺進。
3月中旬，部隊進入宜陽縣境。經過與地方黨負責人張劍石同志取得聯絡，六支隊在東趙堡作短暫停留。當時，東趙堡附近的姚村盤踞著國民黨的一股雜牌軍，團長楊福祿是一個極端反動的頑偽兩面派，他們到處搜刮民財，抓丁拉夫，姦淫燒殺，無惡不作，當地群眾恨之入骨。在地下黨和群眾的強烈要求下，六支隊決定消滅這股反動勢力。經過一晝夜激烈戰鬥，我殲其兩個營和團部一部，擊斃其副團長，俘300餘人，繳獲武器200餘件，子彈數萬發，並從兩孔窯洞裡搜出十多噸黃炸藥和許多糧食，使部隊及時得到了補充。在這次戰鬥中，我三十六團政委李定海同志英勇犧牲。這一仗，對於擴大我軍的聲威，震懾敵人，起了很大作。當地老百姓看到八路軍為他們除了一大禍害，無不拍手稱快，敲鑼打鼓帶著各種物品來慰問部隊，進一步激發了指戰員的戰鬥熱情。
姚村戰鬥之後，當地群眾要求我們繼續消滅西趙堡的土頑武裝。由於西趙堡頑軍工事比較堅固，部隊雖經幾番攻擊，未能拿下。正當準備組織新的攻擊時，接到河南軍區催促部隊迅速東進的指示，六支隊壓制了一下土頑的囂張氣焰便撤離了戰鬥。
部隊離開宜陽後繼續東進，約在4月初到達河南軍區所在地臨汝縣大峪店。之後，進入臨（汝）、寶（豐）、禹（縣）、郟（縣）、襄（城）等地區，展開了開闢豫西根據地新區的鬥爭。
部隊到達登封大峪店後，河南軍區決定以六支隊為基礎，在禹縣之神垕鎮建立第六軍分割槽、六地委和六專署。由劉昌毅兼分割槽司令員，張力雄兼分割槽政委並地委書記，馬毅之任地委副書記，孔祥禎任專員。我們的任務是：以神垕鎮為立足點，以劉山為依託，逐步向西、南方向發展，開闢臨（汝）、郟（縣）、寶（豐）、襄（城）等地區。這一帶地區是敵我必爭之地，鬥爭情勢極為複雜。
1945年7月初，六支隊在粉碎了日偽糾集六縣之重兵對神垕的瘋狂“掃蕩”後，在這裡建立了禹郟縣抗日民主政權和中共禹郟縣委（縣長張清傑，縣委書記張立治），成立了該地區第一個區級抗日民主政權——神垕鎮區政府（黃凱兼任區長和區委書記）。7、8月間部隊頻頻出擊，連克神垕以南20餘個村鎮，又建立了郟縣安良區、郟西區政府（禹郟縣民主政府此時由神垕遷至李家溝）。在開闢新區的過程中，部隊每到一地都派出工作隊深人村寨，書寫標語，張貼告示，或走家串戶，或召開群眾大會，廣泛宣傳共產黨抗日主張和方針政策，宣揚八路軍抗日勝利成果；幫助當地建立抗日政權，成立農會、婦救會等群眾抗日團體，使六專署所轄各縣、區政權建設有了較快的發展。隨著各級抗日民主政府的建立，六支隊活動地域內的抗日鬥爭，出現了蓬勃發展的好形勢。
六分割槽組建不久，就幫助地方成立了禹郟縣獨立團。此後，還組建了各縣縣大隊。部隊從繳獲的槍支彈藥中抽出一部分來裝備地方武裝、並派人對之進行必要的訓練。郟縣農村有個叫“武聖學”的民間組織，是群眾自發組織的抗日武裝，帶有較濃厚的封建行幫色彩。他們曾組織各村寨農民用大刀長矛抗擊日寇，在當地群眾中很有影響。八路軍六支隊瞭解到“武聖學”的情況後，即主動派人與他們聯絡，講清聯合抗日的道理，使他們願意接受我軍領導。在六支隊進行的巖郭寨、郟北等戰鬥中，“武聖學”協同我軍作戰，發揮了積極的作用。地方武裝的建立及發展，使六分割槽很快形成了主力軍、地方軍和民兵相結合的人民戰爭體制，對根據地的發展和鞏固起了重要作用。
在開闢根據地的鬥爭中，六支隊始終貫徹了黨中央關於放手發動群眾，團結一切抗日力量，建立廣泛的抗日民族統一戰線的方針。我們堅決執行黨在抗戰時期的農村經濟政策，配合地方政府，開展減租減息，消滅苛捐雜稅的活動，改善了廣大農民的生活狀況，極大地調動了人民群眾的抗戰積極性。對地主富農，只要不反對抗日，就予以團結爭取。對願意為抗戰盡力的社會名流和開明紳士，按照黨的“三三制”政策，委以當的職務，並保護其財產利益。對當地的土匪，採取區別對待的方針：一方面，對那些投靠日偽，殘百姓的土匪，予以堅決打擊；另一方面，對那些佔地為王，但不反對抗日的土匪，則儘量爭取改造。對偽軍主要成員，採取分化瓦解的策略。如三十七團在圍殲巖郭寨偽軍時，曾活捉偽縣大隊長白松亭、對他曉以抗日大義，使他不再繼續與八路軍為敵。為了團結、爭取人民群眾積極支援抗日，六支隊指戰員嚴格執行三大紀律八項注意，尊重當地人民的風俗習慣、戰鬥間隙幫助群眾進行生產，儘量減輕人民負擔。
豫西抗日根據地的建立，是在日寇剛剛從國民黨手中搶佔的土地上築起的抗日堡壘，它阻止了日寇的西進。因此日偽武裝頻頻對根據地進行“掃蕩”，妄圖將八路軍及抗日民主政權擠出去。國民黨顧固派也視之為眼中釘，實行“聯日反共”，伺機配合日寇對我進行夾擊。為了適應鬥爭任務的需要，六支隊到達豫西不久，就對團的領導成員進行了調整，闕子清、王厚安分別任三十六團團長、政委（劉勝斌調任禹郟縣獨立團團長）。在開闢豫西的過程中，我支隊共進行大小戰鬥六十餘次，斃傷日偽及頑軍八千餘人，深重地打擊了日偽和國民黨頑固勢力，保衛和鞏固了根據地建設。
1945年5月，三十六團與其它支隊配合，參加了登封大治戰鬥，該團全殲頑軍500餘人，拔除反動圍寨10餘處。之後，張力雄、胡鵬飛率支隊進入伏牛山與皮定均、張才幹等支隊在伊、臨、魯、嵩四縣交界地區、痛殲頑軍，佔領了府店、木植街、太山廟、四平店、車村、慄樹街等地。6月中旬，三十六團和一支隊一個團全殲魯山縣土門、瓦屋之敵700餘人，進而攻佔潁陽。
7月初，日寇駐襄城縣師團部調集禹、襄、寶、郟、葉、魯六縣日偽約5000人，對禹西地區進行大“掃蕩”。郟縣偽“愛鄉自衛團”總團長王明禮率偽軍2000餘人，配合日軍一箇中隊，沿大、小劉山向神垕鎮進犯，揚言要把八路軍趕出去。六支隊先頭部隊主動撤離，誘敵進人該鎮，然後，乘敵立足未穩，發起猛烈反擊，主攻方向是日軍佔據的祖師廟制高點。部隊連續三個夜晚向敵衝擊，但遭敵居高臨下的頑強抵抗，未能奏效。經過偵察，發現祖師廟東西兩側敵火力覆蓋面較大，而北面卻是射擊死角；敵人夜晚戒備甚嚴，白天防範麻痺，便立即調整了作戰部署，決定在白天發起進攻。第五天清晨，部隊突然向敵開火，以猛烈火力壓制敵人，一面由東西兩側進行佯攻，給敵人造成錯覺；一面由三十七團連長王思炎率7連出其不意地從山坡迅猛登上祖師廟，與敵展開肉搏戰，並控制了制高點。六支隊後續部隊亦佔領有利地形，向敵展開攻擊。在八路軍凌厲的攻勢下，日軍陣腳大亂，死傷慘重，棄屍潰退。鎮內偽軍見勢不妙，也爭相逃命。八路軍乘勝追擊，又連續攻佔鴻暢、高廟、郭寨等十餘個敵據點，解放了許多村鎮，擴大了根據地。神垕爭奪戰，六支隊共斃傷敵偽軍400餘人，粉碎了日寇的“掃蕩”計劃。
到了1945年8月，世界反法西斯戰爭進入最後階段，朱總司令發出向日寇展開戰略反攻的命令。在新的形勢下，河南軍區令六支隊派三十六團配合兄弟部隊發起登（封）、密（縣）戰役，在登封戰鬥中，三十六團全殲日軍一箇中隊、偽軍一個營，活捉偽縣長、偽參議。留在神屋的支隊主力則對日偽發起郟北戰役。戰役中，三十七團首先攻佔磨石坑，消滅偽軍大隊董光漢殘部，然後包圍了郟縣偽縣府及“抗敵司令部”所盤踞的高垌據點。部隊在禹郟縣地方武裝及“武聖學”的配合下，先由突擊隊架設雲梯登上高垌寨牆開啟突破口，主力跟著突入寨內。這時駐郟縣日偽急馳增援，我打援部隊將敵阻於高垌南丘陵地帶。戰鬥從清晨打響至中午結束，我攻佔高垌，偽縣長劉子振只穿了條褲衩跳崖南逃。此次戰鬥殲敵500餘人，繳獲大批武器裝備和糧食布匹。戰後，我們利用這些戰利品在神屋鎮辦起了軍械修理廠和被服廠，修理槍械，自制彈藥，縫製軍服，保證了部隊所需。
攻克高垌後，日寇投降的訊息傳來，指戰員鬥志倍增，乘勝出擊，連下葉、黃道鎮、寺街，全殲拒降偽軍南子明、劉德義部200餘人。8月下旬，部隊繼續北進，包圍謁主溝偽李長有部。謁主溝地形險要，易守難攻，敵人憑險拒降。指戰員用當地的一種土炮和土坦克（方桌上蓋上數層浸水的棉被）攻寨，激戰三天四夜，全殲守敵700餘人。這次戰鬥，部隊將禹郟縣根據地擴充套件到青廟、林村、呂溝、王英溝等地區，並形成對郟縣日偽軍的包圍態勢。
9月初，當六支隊繼續向負隅頑抗的日偽武裝發起猛攻的時候，國民黨軍隊分多路撲向豫西，開始搶奪抗戰勝利果實。當時，六支隊已兵臨郟縣城下，準備攻城，接受日偽投降。國民黨十五軍六十四師和河南保安旅突然逼近西關，並與城內日偽合流，依仗精良的美式裝備，向八路軍發起進攻。六支隊則採取誘敵深入的戰術，將敵引進郟縣城北的郝廟村，然後主力從兩側迂迴包抄，把敵人打得潰不成軍，狼狽逃竄。後因情況有重大變化，六支隊改變攻城計劃，轉移到神垕地區。
農曆八月十五日（公曆9月17日），是抗戰勝利後的第一個中秋之夜。國民黨六十四師趁根據地過中秋節之機，沿大、小劉山向六支隊進犯，企圖佔領神垕鎮。六支隊以一個小分隊在神屋正面阻擊，以迷惑敵人，主力則迅速集結於西北方向的紅石寨，嚴懲來犯之敵。在六支隊的沉重打擊下，六十四師傷亡慘重，連夜逃回郟縣縣城。這次戰鬥的勝利，不僅保衛了分割槽、地委、專署及神垕鎮的人民群眾，也為後來河南軍區機關及友鄰支隊向桐柏轉移，創造了條件。
1945年10月初，根據國共兩黨重慶談判協定，我軍奉命撤出豫西根據地。此時,六支隊已發展到七千餘人。六支隊由禹縣、臨汝、登封交界處的小南海寺轉移南下，當進至臨汝邊界長阜街，南渡汝河時，遭到國民黨軍隊的阻截，六支隊先頭部隊反擊於汝河灘，迫其向東南逃去。隨後，我支隊涉汝水，經寶豐、魯山、葉縣、舞陽、西平、遂平、泌陽，行軍20余天，到達桐柏山區。在這裡，河南軍區及所屬各部隊與李先念同志領導的新四軍五師和王震同志領導的八路軍三五九旅南下支隊勝利會師。是月30日，中央命令成立中原局中原軍區，李先念任軍區司令員，鄭位三任軍區政委。原河南軍區部隊編為第一野戰縱隊。六支隊編為一縱三旅。
