經過短期整訓,中共膠東特委在牟平縣馬石店召開會議,決定林一山任膠東軍政委員會主席兼“三軍”總指揮;宋澄任“三軍”政委;呂志恒任軍政委員會副主席。之后,在呂志恒等率領下西進抗日?!叭姟敝髁τ晌牡?、牟平一帶出發,向蓬萊、黃縣、掖縣戰略要地開進。西上途中,攻克福山,襲擊煙臺,所向披靡,并將膠東各地起義隊伍統一整編為四路,開辟了蓬、黃、掖抗日根據地,建立了縣區抗日民主政權。
1938年9月18日,“三軍”各路和掖縣“三支隊”在掖縣沙河鎮整編為“山東人民抗日游擊隊第五支隊”,高錦純任司令員,吳克華任副司令員,宋澄任政委。所屬編為十九旅、二十一旅和二十五旅3個旅。十九旅旅長高嵩,政委宋竹庭,參謀長王瀛洲,政治部主任李丙令。下轄六十一團,團長趙一萍,政委劉中華;六十三團,團長于得水,政委張玉華;五十五團,團長李華,政委常青。二十一旅旅長鄭耀南,政委李耀文,政治部主任張加洛。下轄六十二團,團長徐承勛,政委張寰旭;六十四團,團長陳龍飛,政委翟瑞甫。二十五旅旅長劉萬玲,政委柳運光。下轄六十五團,團長李兆岐,下委王云恨。12月,“八路軍山東縱隊”正式成立,膠東部隊原部“山東人民抗日游擊隊第五支隊”奉命改稱“八路軍山東縱隊第五支隊”,下轄6個團,共7000余人。后來,在原膠東黨政軍領導機構的基礎上,組成了膠東區黨委、膠東行署、膠東軍區。