為準備入魯，李仙洲又拜會了何應欽、陳誠等人，根據(jù)蔣介石的交代，提出調(diào)整軍隊編制，要求增撥軍費，補充人馬械彈，同時決定成立第九十二軍政治部，從康澤的“星子特別訓練班”和“戰(zhàn)干團”畢業(yè)生中調(diào)派了大批政工人員，由山東老牌黨棍劉子班任政治部少將主任。隨后，李返回第九十二軍防地通城，部署北開，但在軍隊調(diào)換方面出現(xiàn)了問題。第九十二軍調(diào)出兩個師，只調(diào)進第一四二師。蔣介石許諾的王凌云第七十五師，由于第六戰(zhàn)區(qū)司令長官陳誠堅決拒絕調(diào)出而泡了湯。李仙洲只好率第二十一、一四二兩個師漸次北移，同年冬，開抵鄂北襄陽、樊城、老河口一帶。1940年，參加了棗宜會戰(zhàn)的部分戰(zhàn)斗。1941年初，李部開至皖北阜陽、蒙城一帶。時“皖南事變”發(fā)生，蔣介石電令李部停止北進入魯，暫留皖北地區(qū)阻止新四軍向蘇北轉(zhuǎn)移，歸駐臨泉的魯蘇豫皖邊區(qū)總司令兼第三十一集團軍司令湯恩伯指揮。后又由于豫南、鄂西、皖北等戰(zhàn)事的牽制，李部遲遲未能入魯。

李仙洲在滯留皖北兩年間，除了進攻新四軍、應付日軍“掃蕩”外，主要是從各方面為入魯做準備。一是從思想上、政治上武裝第九十二軍。他把政治部主任劉子班編寫的反共小冊子印發(fā)全體軍官，強調(diào)對共產(chǎn)黨作斗爭，要以組織對組織，以政治對政治，以軍事對軍事。二是招兵買馬，擴充力量，在臨泉開辦中央軍校駐魯干部訓練班（簡稱魯干班），培養(yǎng)入魯骨干。李仙洲自兼魯干班主任。三是針對八路軍的作戰(zhàn)特點，抓緊軍事訓練，如近戰(zhàn)、夜戰(zhàn)、反伏擊等。1942年秋，湯恩伯、何柱國檢閱第九十二軍時，對李抓近戰(zhàn)、夜戰(zhàn)訓練極為欣賞。四是多方聯(lián)絡，廣通聲氣，樹立羽翼。自1941年起，特別是1942年后，李仙洲經(jīng)常派遣政工人員、諜報人員和山東籍的親信化裝到山東各地活動、聯(lián)絡，逐步建立了由皖北經(jīng)魯西到魯南的情報站或聯(lián)絡站。

1942年秋，山東形勢急變，于學忠部日陷困境。蔣介石電催李仙洲按原計劃入魯。李仙洲也認為入魯準備日趨成熟，遂加緊調(diào)整充實原定計劃，籌劃入魯。具體部署是，先在單縣、曹縣、成武及豐、沛地區(qū)建立根據(jù)地，掩護軍主力由皖北經(jīng)魯西南越微山湖進入魯南山區(qū)，爾后向魯北及魯東擴展。

對于入魯之事，第九十二軍許多中、上層軍官都認為很危險，并不積極，抱著能拖一天就拖一天的態(tài)度。因此，李仙洲遲遲未動。為催促李部行動，1942年冬，蔣介石又加委李仙洲以第九十二軍軍長兼魯西挺進總指揮。

1943年初，魯蘇戰(zhàn)區(qū)于學忠部連遭日軍打擊，迭電告急，蔣介石再次督催李仙洲入魯。在蔣的逼令下，李遂投石問路，派第二十一師副師長路可貞率第六十二團于1月中旬北越隴海路，先行在碭山以北至微山湖之間建立了立足點。同月18日，新編第四師吳化文部投敵，于學忠部局面更加急迫，蔣介石又“嚴令李仙洲軍速行計劃入魯勿得延誤”，并于2月17日加委李仙洲為第二十八集團軍總司令兼魯蘇豫皖邊挺進軍第一路總指揮。李再派第一四二師師長劉春霖率該師第四二五、四二六團，于2、3月間越微山湖，進入津浦路東側的魯南山區(qū)，以建立溝通于學忠部的走廊地帶和主力入魯?shù)聂斈狭⒆泓c。同時，為鞏固魯西立足點，李又電請蔣介石、何應欽，將魯西的三個保安團編為暫編第三十師，由第二一十一師副師長路可貞升充師長。這三個保安團只有成批的軍官，完全是空架子。

第九十二軍在魯西及魯南建立立足點后，蔣介石和湯恩伯一再電催李仙洲率主力入魯。路可貞和劉春霖也電請李親自坐鎮(zhèn)魯省，統(tǒng)一指揮各方力量，迅速打開局面。李仙洲遂于1943年4月，率第九十二軍直屬部隊和由湯恩伯部臨時撥歸李部的暫編第五十六師，秘密進入魯西單縣一帶，擬以此為跳板，東渡微山湖，到魯南地區(qū)與魯蘇戰(zhàn)區(qū)的部隊會合。李仙洲到達單縣后，發(fā)現(xiàn)了不少八路軍“歡迎九十二軍入魯抗日”的標語，接到八路軍要求聯(lián)絡的信件。李部入魯已無秘密可守。李和路可貞遂大罵共產(chǎn)黨是“口蜜腹劍，不懷好心”。實際上，這樣大規(guī)模的部隊移動，本身就很難保守秘密。

李部入魯，在日軍和國共之間引起了一連串的連鎖反應。

日軍方面，自然不愿看到兵強馬壯的李部與已損兵折將、疲憊不堪的于學忠部會合。再者，李部入魯也在山東偽軍中引起不小的波動，更增強了日軍的警惕。所以，日軍加強了對隴海路、津浦路及微山湖西岸的防守，阻截李部入魯部隊，并于1943年2月間，“掃蕩”了魯南山區(qū)，破壞李部借以北上、東進的立足點。李率主力到達單縣不幾天，日軍即糾集1000余人的兵力，配合汽車、坦克，向單南葛樓、武樓、宋劉樓等李部駐地進攻，李部遭受嚴重損失，第二十一師六十三團一個營傷亡殆盡，激戰(zhàn)至黃昏，乘夜轉(zhuǎn)移至微山湖西側張土城附近。此后李部多次組織兵力強行渡湖，但由于日軍在微山湖西岸和津浦路兩側，深溝高壘，增調(diào)兵力，防守甚嚴，均未得手。而日軍飛機的不斷轟炸掃射，又迫使李部不得不化整為零，分散活動，晝伏夜出，滯游于湖西地區(qū)。

于學忠和國民黨山東省政府方面，最初對李部入魯是歡迎的。但由于國民黨軍隊內(nèi)部派系林立，各為己利，因此，李部的入魯并未能真正體現(xiàn)出加強戰(zhàn)略配合、解于部之危的作用，反而制造出一些新的矛盾。為培植個人勢力，李仙洲在入魯前，就開始與省內(nèi)各地方勢力拉關系，加委官職。這不僅干預了省政府的地方軍政事務，而且造成了各地方勢力之間或傾向于學忠、省政府或傾向李仙洲的矛盾的發(fā)展。而蔣介石更以調(diào)整抗戰(zhàn)態(tài)勢之名，將于學忠在山東所轄的地方武裝劉桂堂新編第三十六師、趙保原暫編第十二師、張步云山東保安第二師等劃歸李仙洲部建制。這一切不啻取消了于學忠魯蘇戰(zhàn)區(qū)總司令的職務，而且挖掉了于學忠入魯多年經(jīng)營的根基。實際上，蔣介石當初派于學忠部入魯就有使東北軍在抗日和反共中消耗勢力的意圖，此時，更是趁于學忠部在魯拼殺多年、損失慘重、疲憊不堪之機，進一步瓦解東北軍。因此，這就不能不引起于與李之間的矛盾。于學忠為保持其勢力及在山東的地位，便通過省政府主席牟中珩以山東省政府的名義，將所有小股地方軍統(tǒng)編為縣和專區(qū)的保安部隊，與李抗衡；對張步云保安第二師則以不聽指揮名義，進行軍事討伐。張步云本屬沈鴻烈系人物，與戰(zhàn)區(qū)之間歷來缺少聯(lián)系與配合，且多有矛盾。因此，干戈之下，張步云遂率部公開投敵，并反戈而擊，進逼于學忠部駐防的莒日山區(qū)。這不僅使于學忠部和山東省政府的處境更加困難，而且使于學忠與李仙洲的矛盾公開化。鑒于此種局面，蔣介石將原定李仙洲部入魯增援于學忠的計劃，改變?yōu)橛�、李換防，調(diào)于學忠部出魯整訓。

對共產(chǎn)黨方面來說，李仙洲部入魯時，正值八路軍與東北軍第一一一師殘部爭奪甲子山區(qū)戰(zhàn)役結束不久，八路軍與于學忠部之間仍有芥蒂。于、李如果合流，國民黨頑固派的力量將大為增強，使八路軍在三角斗爭中處于不利。因此，中共方面對李部入魯采取了謹慎的態(tài)度。山東分局在李部入魯之初曾指示該部所過各區(qū)主動與之聯(lián)絡，希望團結抗戰(zhàn)。1943年初，中共山東分局發(fā)出《關于李仙洲部來魯后的統(tǒng)戰(zhàn)工作指示》，分析了李部入魯對敵對我的兩面性和可能帶來的山東敵頑我關系的復雜變化，要求“基本仍然以強調(diào)疏通團結為主”，盡量利用李部抗戰(zhàn)的一面，“鼓勵與推動它與敵積極作戰(zhàn)。對其非友好行為，多用斗爭和善意批評的態(tài)度，尤注意多用人民團體、民意機關以及推動第三者力量促進友軍進步，改變其對我之態(tài)度，不到萬不得已時不要輕易使用武裝反擊”。李部在魯西南與日軍激戰(zhàn)時，八路軍冀魯豫軍區(qū)的部隊積極從側翼襲擾日軍，配合李部作戰(zhàn)，并為李部護送傷員。《魯西日報》還發(fā)表社論，向與日軍激戰(zhàn)的李部官兵表示慰問，并提出在敵后補給困難，要靈活機動，不要過多消耗力量，以利持久抗戰(zhàn)。但李仙洲卻認為這是企圖動搖他的軍心，態(tài)度很不友好。李部入魯部隊也不顧抗戰(zhàn)大局，一再進攻八路軍抗日根據(jù)地。劉春霖部一進入魯南，就與暫編第三十六師劉桂堂部勾結在一起。劉桂堂綽號劉黑七，劉春霖別號劉老黑，兩人相見，自稱難兄難弟。于是，兩人“搭伙”，拉上土頑申從周等部，打著“驅(qū)逐逆流，收復失地”的旗號，進攻并強占滕（縣）嶧（縣）邊地區(qū)和八路軍抗日根據(jù)地中心區(qū)山亭、白彥、大爐等地，每到一地便摧毀民主政權，搶劫物資，燒毀房屋，活埋民主政府的工作人員。他們公開宣稱：“先打八路，后打鬼子”，并揚言要把八路軍攆到老黃河以北去。他們的倒行逆施使魯南抗日根據(jù)地陷入更加困難的境地。李仙洲在魯西也提出“先奸匪，后敵偽”，以集團戰(zhàn)術進攻八路軍，以分散戰(zhàn)術周旋日軍。6月，國民黨頑固派挑起第三次反共高潮，李部亦加緊了在山東的反共活動，頻頻圍攻八路軍。6月14日，李親率第二十一師主力并魯西地方頑軍近兩萬人，向單縣、成武、巨野之間的抗日民主根據(jù)地發(fā)動進攻。在此情形下，共產(chǎn)黨方面被迫考慮自衛(wèi)反擊問題。5月4日，山東軍區(qū)致電八路軍總部、中共中央軍委，提出打擊進入魯南山區(qū)的李部的對策，并著手準備反擊作戰(zhàn)。6月28日，彭德懷致電中央軍委，提出消滅圍攻八路軍之李部一部的建議。6月29日，毛澤東、朱德復電同意。山東及冀魯豫八路軍開始反擊入魯李部。7月1日，王秉章、唐亮指揮冀魯豫第六、二、五軍分區(qū)三個團，殲李部第六十二團兩個連及一個重機槍排于成武縣趙小樓前張莊。2日，李仙洲命第二十一師師長聶松溪率六十一團增援，又在單縣城西北之祿劉莊一帶被殲300余人，其間還在豐縣北部王堂被殲400余人。

此時，于學忠開始部署離魯。剛從華中治病返回的羅榮桓，得悉這一情況后，便將原在東北軍工作過的一些干部請來分析形勢，研究對策。實際上，自李仙洲一入魯，羅榮桓就一直密切關注著于學忠的動向和蔣于、于李之間的矛盾，并盡力緩和與于部的關系。1943年2月間，于部遭敵“掃蕩”時，八路軍予以配合，允許于部退入八路軍防地，于學忠因此對八路軍態(tài)度轉(zhuǎn)好。羅榮桓因勢利導，派人疏通，3月間做到互派代表聯(lián)系，4月間約定恢復電臺聯(lián)絡。鑒于與于部關系的緩和和于、李矛盾，羅榮桓分析：國民黨不信任東北軍，所以要于、李換防。按常理，于應當?shù)壤顏砹嗽僮�，但是于學忠如果搞得漂亮一點，最好不等李來拍拍屁股就走。如果我們能把李仙洲頂住，再給于學忠提供便利條件，他完全可能先期出魯。羅榮桓說：“如果于學忠真是這樣走，我們就禮送出境。至于對李仙洲，則堅決頂住，決不能讓他過來�！庇谑牵�形成了頂李送于的對策。7月4日，朱瑞、羅榮桓、黎玉、肖華聯(lián)名向中央軍委、八路軍總部提出了《關于對待李仙洲、于學忠之軍事部署》：“對于部西開不加箝制，并在一定條件下給予便利。對李部東進、北上盡量遲滯其時間，并在自衛(wèi)原則下，乘其伸入我根據(jù)地立腳未穩(wěn)之際，予以殲滅一部之打擊……對于部防區(qū)附近之地方部隊，爭取可能爭取者，殲滅某些最堅決反共部分，為求控制魯中山區(qū)及莒日諸間山區(qū)；并互相聯(lián)絡，以便繼續(xù)向外圍發(fā)展。”7月15日，中共中央書記處復電山東分局并告北方局：“一、同意你們對付于學忠、李仙洲的方針。二、對友好者堅決團結之，對頑固（而）暫時尚未向我進攻者則設法中立之，對向我進攻者則堅決反擊之。這就是你們應付各派國民黨軍隊的原則。”隨后，山東軍區(qū)即在濱海區(qū)、魯中區(qū)、魯南區(qū)部署打擊偽頑、接控于部防地、反擊魯南李部的作戰(zhàn)。同時，冀魯豫八路軍也集中6個團兵力，在魯西南、湖西地區(qū)阻滯李部東進。

7月下旬，冀魯豫軍區(qū)司令員楊得志、政治部主任崔田民親自指揮5個步兵團、1個騎兵團及地方武裝，展開反擊李仙洲戰(zhàn)役的第二階段作戰(zhàn)。29日，李仙洲軍總部及第二十一師、暫編第三十師等部被包圍于成、單、曹邊的陳樓、陳莊一帶，第二十一師突圍，遭八路軍伏擊，被殲近千人。李仙洲急命第九十二軍軍長侯鏡如率軍部及暫編第五十六師、一四二師各一部馳援，雖得以解圍，但侯部也遭到嚴重打擊。接著，李仙洲所倚重的國民黨魯西南地方武裝曹斑亭部大部被殲。

以上種種因素，造成李仙洲部長時間徘徊、滯留于魯西南，無法東進接近于學忠防地的局面。在內(nèi)外援無望的情勢下，于學忠部彈藥缺乏，補給無術，處境更加艱難，為避免繼續(xù)受損失，于學忠部便不等李部接防就開始撤離，向皖北轉(zhuǎn)移。事前，于部與八路軍已約定：于部撤離駐地時，以煙火為號，八路軍即去接防。于部可在魯中根據(jù)地之坦埠（位于沂水與蒙陰邊界處）和舊寨（坦埠以西）兩地，通過八路軍的防區(qū)，于部通過時，八路軍籌備糧草，予以歡送。

于學忠部駐防的沂魯山區(qū)和諸（城）日（照）莒（縣）山區(qū)，縱橫數(shù)百里，峰巒連綿，山崮聳立，形勢險要，是山東中部最大的山區(qū)。占據(jù)這一帶山區(qū)，西可與泰山、南可與蒙山相呼應，北可抵膠濟鐵路，東可達諸城、莒縣、安丘，具有極其重要的戰(zhàn)略意義。在這兩塊山區(qū)周圍的偽軍和頑固派，包括魯山以南的偽軍吳化文部，盤踞諸城一帶的偽軍張步云部，安丘一帶的厲文禮部，以及原駐魯南，后轉(zhuǎn)至日（照）莒（縣）公路以北的張里元部等，都對于這兩個山區(qū)垂涎三尺，企圖染指。為搶先控制于部退出陣地，7月4日、12日，山東分局、軍區(qū)命令魯中區(qū)和濱海區(qū)的部隊分別向沂魯山區(qū)和諸日莒山區(qū)大規(guī)模進軍。從7月中旬到8月上旬，同在日軍支持下的張步云部、吳化文部和厲文禮部展開激烈戰(zhàn)斗，基本控制了日（照）莒（縣）公路以北的諸日莒山區(qū)，青（州）沂（水）路以東、安（丘）莒（縣）邊區(qū)和青沂路以西的北沂蒙地區(qū)等原東北軍駐地，新開辟的解放區(qū)面積達2000余平方公里�？刂浦T日莒山區(qū)和北沂蒙地區(qū)后，山東八路軍又把重點轉(zhuǎn)向南面的天寶山區(qū)和蒙山山區(qū)，尋求擊退或殲滅進入該地的李仙洲部。8月13日至18日，魯南軍區(qū)集中主力第三、第五團及地方武裝一部，在天寶山地區(qū)劉春霖部的側翼，糾纏扭打，進行反擊。頑軍雖然受到損失，但仍越過滋（陽）臨（沂）路竄至費（縣）北，又遭魯中第二團的打擊，只好退回滋臨路南，盤踞在乎邑以南的流峪、常莊一帶。此間，津浦路西的冀魯豫軍區(qū)也全力反擊李仙洲部主力。

在此局面下，李仙洲部陷入重重困境，入魯初的2萬余人，到這時剩下不到8000人，戰(zhàn)斗兵減員半數(shù)以上，彈藥消耗殆盡，有的輕重機槍只剩幾十發(fā)槍彈，迫擊炮只剩下幾發(fā)炮彈，官兵都害怕再有戰(zhàn)斗。遠隔津浦路的劉春霖，也一日數(shù)電告急。

于學忠西撤過微山湖時，曾在張土城附近的一個小村莊約見李仙洲，傾訴了在魯南堅持抗戰(zhàn)，備歷艱苦的情況，說到將、校、尉級軍官死傷的有幾個編制表，自己也有幾次險遭不測。聽后，李仙洲也不免“兔死狐悲”，流露了悲觀失望的情緒。其實，李部軍官早就信心不足，特別是和八路軍幾次較量后，大都對八路軍的夜襲及伏擊“談虎色變”，對劃滿紅實線、紅虛線的逐步“鯨吞”和“蠶食”八路軍根據(jù)地的“入魯計劃”，已徹底失望。至秋初，眼見青紗帳時期將告過去，預期的日軍秋季大“掃蕩”迫在眉睫，特別是龐炳勛的被俘對李仙洲及軍、師長們更是一個晴天霹靂。李部高級軍官，包括曾力主繼續(xù)東進魯南者都信心動搖，主張早日南撤。李仙洲雖不情愿，但鑒于形勢已瀕絕望，無力回天，遂向蔣介石發(fā)電請示，大意是：華北大勢已去，非九十二軍區(qū)區(qū)兵力所能挽救。部隊彈盡援絕，曠日持久，有被全殲之虞。為抗戰(zhàn)長遠利益計，請準撤回皖北整補，以圖后舉。幾天后，接到蔣介石復電，大罵李仙洲“非革命軍人，限迅即東進，不得延誤”。李仙洲看了電文，正無所措置時，又接到蔣介石親電，命李率部撤回阜陽。李仙洲這才松了一口氣，召集師長以上軍官密商后，經(jīng)夏邑附近南撤，于中秋節(jié)前到達阜陽。第一四二師也由魯南經(jīng)徐州、碭山間過鐵路南撤。

國民黨在山東的落敗，是其消極抗日、積極反共錯誤方針的必然結果，但其中也不能排除于學忠與蔣介石之間的矛盾所起的作用。于、蔣矛盾實質(zhì)是東北軍與蔣介石集團之間的派系矛盾。蔣介石的如意算盤是，先奪于部經(jīng)營多年的戰(zhàn)略要地和地盤，讓嫡系李仙洲取而代之，以達到釜底抽薪的目的，然后再借機整垮東北軍。這一點，于學忠看得很清楚，同時，他也看到李仙洲部不可能順利入魯，所以，未待接防即匆匆撤出，使蔣介石在山東走了一步敗棋。

山東八路軍方面則正確分析和利用了以上種種矛盾，選擇了正確的對策和措施，進行了有理、有利、有節(jié)的斗爭，從而占領了山東戰(zhàn)略制高點。