Audrey Hepburn kedvenc operatőre Franz Planer volt, aki viszont 1963-ban meghalt, így a Végzetes rágalom volt az utolsó közös munkájuk.
Audrey Hepburn és Shirley MacLaine a forgatáson kívül is jó barátnők lettek. Volt egy megállapodásuk, hogy Hepburn megtanítja MacLaine-t öltözködni, MacLaine pedig Hepburnt káromkodni, de egyikőjük sem járt sikerrel.
Az eredeti műben Karent és Marthát alakító Merle Oberont és Miriam Hopkinst is felkérték, hogy vállaljanak szerepet a filmben. Közülök csak utóbbi vállalta el, s ő játszotta Martha önző nagynénjét.
A forgatókönyvet John Michael Hayes írta, aki olyan mozikban dolgozott korábban, mint Hitchcock Hátsó ablak, és a Hogyan fogjunk tolvajt? című filmjei A stúdió eredeti tervei szerint visszaállította a leszbikus tartalmat.
Lilian Helman, aki az eredeti 1935-ös szövegkönyvet írta, az ötletet egy híres skóciai botrányból merítette a 19. századból.
Audrey Hepburn karrierjében ez volt az első olyan film, amelyben nem ő volt az egyedüli női főszereplő.
A film Lilian Helman színdarabjának egyik újrafeldolgozása. Már 1935-ben készítettek belőle egy filmet These three (Hárman voltak) címmel. Az 1961-es Végzetes rágalomban kikötötték, hogy az eredeti címet nem használhatják, és a szerelmi háromszöget heteroszexuális viszonnyá kell átalakítani.
William Wyler számos jelenetet kivágott a filmből, ami Martha homoszexualitására utalt volna, abbeli félelmében, hogy a film nem felel meg Hollywood első önkorlátozó szabálygyűjteményében foglaltaknak. Abban az időben tiltott volt a homoszexualitás megjelenítése a filmvásznon.
A filmet A gyerekek órája címmel is bemutatták Magyarországon.