Il travaille un temps comme représentant en produits pharmaceutiques, puis entre dans les milieux du cinéma grâce à son mariage avec l'actrice autrichienne Marianne Hold qui fut l'héroïne du film Marianne de ma jeunesse de Julien Duvivier. En rendant visite à sa femme sur un tournage, il rencontre un collaborateur du réalisateur André Hunebelle, qui cherche alors un remplaçant à Kerwin Mathews dans le rôle de l'agent OSS 117. Engagé grâce à son physique et ses qualités athlétiques, Stafford compense son inexpérience de comédien par son aisance dans les scènes d'action. Il interprète à deux reprises le rôle d'OSS 117, et tourne pour les cinémas français et italien, où on le voit dans plusieurs films d'espionnage et de guerre.

En 1969, Frederick Stafford est engagé par Alfred Hitchcock pour tenir le rôle masculin principal dans L'Étau. Il y côtoie de nombreux acteurs français, dont Dany Robin, Claude Jade et Michel Piccoli. Mais le film est un échec commercial et la prestation de Stafford est sévèrement jugée par la critique américaine, ce qui ne lui permet pas de s'imposer à Hollywood.

Frederick Stafford apparaît ensuite uniquement dans des films italiens. Il retrouve Claude Jade dans le policier Meurtres à Rome. Il meurt en 1979 dans un accident d'avion en Suisse à l'âge de 51 ans.