De plant is afkomstig uit het Middellandse Zeegebied en komt nu in alle gematigde streken van Europa voor, tot zelfs in het hoge noorden. De soort is in Noord-Amerika ingevoerd. De plant groeit meestal op redelijk droge en kalkhoudende grond in bermen, graslanden en op hellingen. De plant prefereert een zuurgraad (pH) tussen de 6,1 en de 7,5. De kleine pimpernel staat op de Nederlandse Rode lijst van 2012 als niet bedreigd en sinds 1950 stabiel of toegenomen. De plant is vrij zeldzaam in Zuid-Limburg en zeldzaam in het rivierengebied en de Hollandse duinen. Elders in Nederland is de soort zeer zeldzaam. In Vlaanderen is de plant niet bedreigd; ze is algemeen in het Maasgebied en de Voerstreek, maar verder zeldzaam tot zeer zeldzaam.[1]