Lors de l’entrée en guerre des Etats-Unis il a servi comme garde côtier à la protection des convois contre les attaques du sous-marins allemands.

En juin 1946, il épouse Patricia Ann Cason dans l'église catholique de Saint-Boniface. Après le mariage, le couple a déménagé dans l'Iowa City où John a étudié au collège d'arts libéraux de l'Université de l'Iowa et a obtenu sa maîtrise en théâtre. Il a d’abord travaillé comme animateur radio, avant de commencer sa carrière dans les salles de Cleveland Playhouse pendant un an, puis sur scène de New York dans des productions estivales.

Grand 1m88, dégingandé, nerveux avec des cheveux argentés, le visage rugueux, il a laissé un héritage cinématographique impressionnant, où tout au long sa carrière, il alterna son activité entre le grand et le petit écran, débutant dans de nombreuses séries télévisées notamment dans des westerns tels que : « Gunsmoke » ; « Au nom de la loi » « The Rifleman » ; « Laramie » ; « The Virginian » ; « La grande vallée » où encore « Alfred Hitchcock présente »; mais son personnage le plus connu de la jeune génération est sans aucun doute celui du grand père Harry Jackson de Richard Dean Anderson qui incarne l'agent secret « MacGyver » une série d'action, et d'espionnage créée par Lee David Zlotoff, diffusée de septembre 1985 à mai 1992 sur le réseau ABC et en France dès 1987.

Il fait ses premiers pas au cinéma dans un film de guerre où il joue le caporal Devon Enoch dans « La colline de l'enfer » (1955) de Harman Jones avec Richard Conte et Charles Bronson. Mais très vite il évolue vers des compositions plus musclées plus viriles et colorées. Il se voit confier des rôles sensiblement peu recommandables ceux de voyous, de crapules comme dans « Les griffes du gang » (1958) où il est Doc le chef d’une dangereuse bande de trafiquants de drogue; il campe un brillant personnage celui d’un vendeur de voitures d'occasion fouineur dans le film d'Alfred Hitchcock, « Psychose » (1960) ; le prédicateur excentrique dans « La rue chaude » (1962) d'Edward Dmytryk avec Barbara Stanwyck, Laurence Harvey ; le responsable aux affaires indiennes dans « Géronimo » (1962) d'Arnold Laven incarné par Chuck Connors le chef Apache qui accepte à contre coeur de se rendre en échange d'un territoire et de la nourriture, mais se sentant floué il va déclarer la guerre aux américains ; un sale type dans « Le jour des Apaches » (1968) de Jerry Thorpe, il campe un déserteur impitoyable qui tue pour s’accaparer de deux wagons pleins d'armes et de munitions qu’il échange avec les Apaches pour une masse d'argent avec Glenn Ford et Arthur Kennedy ; à contre emploi dans « Cinq cartes à abattre » (1968) un joueur de cartes est pendu par ses partenaires pour avoir triché, le Maréchal Dana (John Anderson) fait face à un justicier mystérieux qui tue un par un les lincheurs avec Robert Mitchum un curieux pasteur toujours armé d'un pistolet et d'une bible.

Il campe un éleveur de bétails dans « Au paradis à coups de revolver » (1969) de Lee H. Katzin, il est l'un des durs propriétaires de bovins qui malmène les éleveurs de moutons pour s'approprier leur pâturages avec Glenn Ford et Carolyn Jones ; un maire corrompu face à un homme de loi, (Clint Walker) qui recherche des preuves pour confirmer sa corruption dans « Le plus grand des hold-up » (1969) de Hy Averback . Dans l'une de ses prestation la plus remarquée, il tient le rôle du fanatique colonel Iverson qui ordonne le massacre des indiens Cheyennes, où, hommes, femmes et enfants sont massacrés, dans le drame historique violent et controversé « Soldat bleu » (1970) de Ralph Nelson avec Candice Bergen et Donald Pleasence .

Grâce à une certaine ressemblance, il dépeint le président Abraham Lincoln à trois reprises d’abord dans « La grande combine » (1966) de Billy Wilder, puis dans « The Lincoln Conspiracy » (1977) de James Conway le film propose une théorie selon laquelle l'assassin du Président s'est échappé au Canada au lieu d'être retrouvé et exécuté peu de temps après son assassinat avec au casting Bradford Dillman, John Dehner et Robert Middleton et pour la télévision dans « Voyages au bout du temps » (1982) de James D. Parriott. ; puis on le voit en mafieux avec Martin Balsam patron d'une mafia sicilienne dans « Le Conseiller » (1973) d'Alberto De Martino ; en gouverneur aux cotés de Burt Reynolds et Jackie Gleason dans « Tu fais pas le poids shérif » (1980) de Hal Needhamil.

Les années suivantes il tourne encore une dizaine de films jusqu'en 1990 mais ses compositions sont moins marquantes. Citons sa prolifique participation au petit écran où il fait partie des rares acteurs à avoir tourné dans plus de 210 séries ou téléfilms de 1950 à 1992.

John Anderson décède une crise cardiaque le 7 août 1992 à son domicile de Sherman Oaks de Los Angeles , trois ans après son épouse Patricia, il fut incinéré et ses cendres furent jetées à la mer dans le cadre de son appartenance à la société de Neptune.