1942年,毛主席在《在延安文艺座谈会上的讲话》提倡文艺工作者要更进一步地深入生活,反映生活。牧虹和卢肃所在的西北战地服务团也组织小分队深入到河北平山和山西繁峙的广大农村参加斗争。1943年日本侵略者对晋察冀边区实行“抢光、杀光、烧光”的政策,那时敌后抗日根据地正处于“黎明前的黑暗”。
当时服务队到达平山后,朝夕和百姓生活在一起,不仅组织群众生产自救,领导农民开展减租减息运动,还走入乡村做演出宣传。广大农民为争取合法权利,奋起斗争的行为和勇气触动了这些文艺工作者。为了反映当时情形,牧虹和卢肃就执笔创作了一部小型歌剧《团结就是力量》。歌剧剧情确定后,大家觉得结束有些突然,缺乏终止感。综合大家建议,决定由牧虹同志写词,卢肃同志谱曲,为该剧增加一个幕终曲,《团结就是力量》由此诞生。
这首歌产生的另一层背景是,随着抗战进入最艰苦的相持阶段,社会上产生了一股消极抗战的逆流。牧虹和卢肃意识到全社会各种力量共同抗日的必要性,只有团结起来形成钢铁般的力量才能无坚不摧,所以创作了这首歌曲。