共產黨領導的軍隊在大力開展抗日游擊戰爭配合正面戰場作戰的同時，在敵人的后方廣泛發動群眾，武裝群眾，逐漸開辟了廣大的敵后戰場。有晉察冀抗日根據地、晉西北和大青山抗日抗日根據地、晉冀豫抗日根據地、晉西南抗日根據地、山東抗日根據地、華中抗日根據地等。
從1937年9月到1938年10月，八路軍和新四軍同敵人作戰1600余次，毖傷俘敵5.4萬余人，八路軍發展到15.5萬人，新四軍發展到2.5萬人，敵后抗日根據地（包括游擊區）總人口達5000萬以上。
1937年10月，日軍向山東進攻。這時，中共山東省委（書記黎玉）指示各地黨組織廣泛發動群眾，舉行抗日武裝起義。從1937年11月至1938年3月，先后有十幾個地區爆發武裝起義。在膠東，起義部隊從敵偽手中收復蓬萊、黃縣、掖縣后，用民主的方式推選縣長。這是山東最早建立的3個抗日民主縣政府。
山東省委還向各方面開展統一戰線工作，其中成效最顯著的是同原國民黨山東聊城專區行政專員兼保安司令落筑先建立了合作抗日的親密關系。中共派遣一大批黨員干部、民族解放先鋒隊隊員和愛國青年到范部工作，并幫助他建立了一支5萬多人的抗日武裝，開辟了魯西北30余縣的抗戰局面。
中共中央和中央軍委非常重視發展山東的抗日游擊戰爭，要求有計劃地建立根據地，使山東成為八路軍在華北的一個重要戰略基地和聯系華中新四軍的戰略樞紐。
1938年5月，中共中央派郭洪濤率一部分軍政干部到山東工作，并由郭洪濤任省委書記。7月，中共中央根據徐州失守后的形勢，將山東省委擴大為蘇魯豫皖邊區省委，并決定派一部分八路軍的主力部隊到山東，以加強這一地區的抗日游擊戰爭，擴大和鞏固抗日根據地。
1938年，6、7月間，冀南地區的第一一五師第五支隊和第一二九師津浦支隊向冀魯邊的寧津、樂陵地區挺進，協同當地中共組織領導的抗日武裝開展游擊戰爭，建立根據地。
1938年9月下旬，第一一五師政治部副主任蕭華率第三四三旅司令部和政治部百余名干部到達樂陵，隨即成立了冀魯邊區軍政委員會。并將空虛地區中共領導的各種武裝力量合編成八路軍東進抗日挺進縱隊，蕭華任軍政委員會書記、縱隊司令員兼政治委員，部隊共計萬余人。軍政委員會提出創建冀魯邊平原根據地的任務和大發展的方針。到1938年底，開辟了以寧津、樂陵為中心，包括滄縣、鹽山、慶云、東光、南皮等縣的平原游擊根據地。
山東地方部隊在魯南、魯中、魯北、膠東等地也著手建立游擊根據地。1938年12月，中共中央根據形勢的變化，又決定改蘇魯豫皖邊區省委為山東分局（郭洪濤仍為書記）；同時，為了加強對山東各地武裝起義部隊的統一領導，決定成立八路軍山東縱隊，任命張經武為總指揮，黎玉為政治委員，江華為政治部主任，共約2.5萬人。
至此，八路軍山東縱隊成為在戰略上有統一指揮的游擊兵團，這對鞏固和發展山東根據地，堅持長期抗戰起了重大作用。
山東根據地是聯結華北和華中的紐帶。為加強山東的工作，1939年3月，羅榮桓、陳光奉命率一二五師師部及三四三旅六八六團由晉西出發到達山東魯西地區，首戰樊壩，全殲偽軍一個團800余人。5月，在泰（安）、肥（城）地區的陸戰房戰斗中，一一五師領導機關勝利突圍，粉碎了日軍的合圍“掃蕩”。這次戰斗是以少勝多的范例之一。
1940年春，六八六團等部攻占了魯南山區的白彥鎮，并粉碎了日、偽軍向白彥鎮的三次進攻，斃傷日、偽軍800余人。此后，他們同山東縱隊協同作戰，多次粉碎日、偽軍的“掃蕩”以及國民黨頑軍的進攻。
到1940年底，一一五師、山東縱隊和地方武裝總計擴大了兩倍，達7萬余人，建立和發展了冀魯邊、湖西、魯西、魯南、魯中、膠東、清河、濱海等抗日根據地，使山東根據地同華中根據地連接起來。
