10万中国远征军第一次入缅作战失利后，被迫沿着滇缅公路，经滇西撤往国内。而此前腾冲作为远征军的大后方，远离战场，按照国军高层意思，日军不会打到这里，所以就没有安排多少军队驻守。然而谁也没料到局势会突然恶化，日军紧跟着撤退的远征军进入滇西，好不容易炸掉惠通桥后，才将日军挡在了怒江西岸。
而日军在占领龙陵地区后，一时过不了怒江，于是就扩大战果，出兵腾冲。此时，腾冲境内的各派武装群龙无首，也没接到来至上级坚守的命令，所以各派武装力量先后自觉或不自觉地随县政府撤离腾冲，进入腾北山区一带。虽然腾冲城墙坚固，但并没有组织有效抵抗，最终日军轻松占领腾冲。
一开始日军并没有派重兵驻防这里，因为他们选择的主攻方向，主要还是想尽快突破怒江占领保山，从而威胁整个中国西南地区。最终日军多次努力尝试未果，于是驻守滇西的第56师团才决定坚守滇缅公路上的咽喉松山。为了加强松山阵地的侧翼安全，于是日军才派兵加强腾冲防务。
除此之外，当初撤离腾冲的县政府官员和地方武装、游击队等一直在腾北地区活动，对日军也存在一定的威胁。所以最高时日军将驻扎在腾冲的常备部队增至一个完整建制的联队，即日军第148联队。除此之外，日军还不断从缅北和野人山地区抽调部队增援腾冲，兵力最鼎盛时期超过一万人。
所以在日军占领腾冲的两年多时间里，一直都在为国军反攻这里做准备，不仅部队数量增加，而且防御工事也不断加强，最终造成腾冲城高墙厚，易守难攻。所以1944年，中国远征军开始反攻时，伤亡惨重，在付出巨大代价之后才拿下腾冲。
