“七七”事变后，抗日战争全面爆发。李林热血沸腾，坚决要求上前方杀敌。她的要求得到党组织的支持。有的同志不同意妇女搞武装，李林却不以为然，她说，“古有花木兰从军，今人理应胜过古人”。
她苦练杀敌本领，白天打柳枝，夜晚射香头，硬是练出一身百步穿杨的好武艺。她在党的帮助下，组建了雁北游击队第8支队，和各兄弟游击队一道，在左云、右玉、平鲁、朔县、怀仁之间展开游击活动，配合贺龙和关向应领导的八路军120师主力部队打击日寇，逐渐形成红涛山抗日游击根据地。贺龙称赞她是“我们的女英雄”。
1938年5月，8支队奉命北出长城，到绥南开辟根据地。李林率领8支队的部分队伍在途中奇袭伪军，夺得战马数十匹，战士们全齐上了马，步兵变成了骑兵。随后，燕北各抗日游击队支队整编为八路军120师雁北第6支队，下设骑兵营，李林任骑兵营教导员。女指导员并不多见，由此可见李林的出色。
1940年4月，日伪军调集五百余人对红涛山根据地进行围剿。雁北地委决定，部队分散突围。当时，李林已怀孕三个月，她丈夫是地区专员，且重病在身，同志们都劝她随地区机关撤离。但李林坚决不干，而是率领骑兵营战斗在最激烈的前线。