全民族抗战爆发后，国民党部队败逃，绥远敌占区的城镇和铁路沿线被日伪统治，广大农村山区成为土匪的天下。当时活动在敌占区的“绥远民众抗日自卫军”，有的是由国民党散兵和杂牌军组成的，有的就是由土匪武装拼凑而成的，“自卫军”里的有些头目本身就是大小匪首。大青山地区的土匪多如牛毛，活动猖獗，臭名昭著的匪首有夏军川、康德胜、肖顺义、李维业、“红蚂蚁”等。这些土匪有的与国民党有关系，有的与日伪往来密切，他们手持武器却不抗日，而专以欺压、掠夺、骚扰百姓为业，常年游窜于大青山麓，为所欲为、无恶不作。
大青山支队决定对其中妨碍抗日的土匪以及投靠日军的匪部予以坚决消灭，清剿土匪的斗争在绥中、绥西、绥南三个地区同时进行。从1938年底到1939年初，大青山支队共消灭土匪40多股，约1500多人，基本肃清了三个游击区的匪患，为大青山抗日游击根据地的建立、巩固和发展创造了必要条件，大青山支队也进一步得到了蒙汉各族群众的信任和拥护。
