„A kis katona” az algériai háború sajátos ábrázolása. Bruno Forestier, a bérgyilkos megbízást kap egy baloldali, az algériaiakkal szimpatizáló újságíró meggyilkolására. A titkos küldetést Genfben kell teljesítenie, ahol találkozik Veronikával, ismeretségük szerelmi viszonnyá válik. A férfi feletteseinek kétségei vannak ügynökük megbízhatóságát illetően.
Ez idő alatt az FLN (a Nemzeti Felszabadítási Front) harcosai elkapják és megkínozzák őt. Kiderül, hogy az elkövetőkkel együttműködő Veronika elárulta a férfit. Brunónak sikerül elszöknie, megtalálja a nőt, akinek végül megbocsát. El akarnak szökni, hogy elfelejtsék ezt az egész szörnyűséget. Bruno felettesei azonban nem hajlandóak szemet hunyni az eset felett...