James Withmore voit le jour à White Plains dans le comté de Westchester dans l'État de New York le 1er octobre 1921. Fils de Florence Belle (née Crane) et de James Allen Whitmore Sr, un fonctionnaire de la commission des parcs nationaux. Il a fréquenté Amherst Central High School à Snyder à New York, puis à la Choate School de Wallingford dans le Connecticut.

James Whitmore et Marjorie Main - Dans le film de 1951 : Mrs. O'Malley and Mr. Malone

Pendant ses études il devient un sportif accompli, notamment dans le football américain et parallèlement, il suit des cours d’art dramatique à la Yale Dramatic Society. Mais après s'être blessé gravement aux genoux il renonce à une carrière sportive. En 1942, lors de l’entrée en guerre des Etats-Unis, il s’est enrôlé dans le corps des Marines où il a terminé sous-lieutenant. Démobilisé en 1946, il se lance dans une carrière théâtrale et étudie le théâtre à l'American Theatre Wing et à l' Actors Studio. Il fait ses premiers pas sur les planches de Broadway dans « Command Decision » (1948) de William Wister Haines, son rôle de sergent lui vaut un Tony Award du meilleur nouveau venu.

James Withmore débute à 28 ans en contrat avec la MGM, n’ayant pas le physique d’un jeune premier l’acteur est taillé pour incarner des personnages de caractères. Premier rôle avec « Fraudes » (1949) Joseph H. Lewis, il campe un agent du fisc qui tente de confondre un chef de gang de fraude fiscale. Dès son deuxième film il est nommé à l'Oscar du meilleur second rôle (sans l’obtenir) mais et gagne le Golden Globe de la même catégorie pour sa prestation dans « Bastogne » de William A. Wellman il est le courageux sergent Kinnie pris au piège dans la ville de Bastogne en Belgique assiégée par les allemands.

Il est Gus le chauffeur dans le film noir « Quand la ville dort » (1950) de John Huston, un cerveau du crime (Sterling Hayden) fraîchement sorti de prison, projette un cambriolage de bijouterie et recrute une équipe, mais tout ne se passe pas comme prévu ; le shérif Peterson qui lutte contre une colonie de fourmis géantes issues d'une mutation génétique suite à des essais nucléaires de l'armée américaine dans « Des monstres attaquent la ville » (1954) de Gordon Douglas avec Edmund Gwenn et James Arness.

Dans le biopic « Le tigre du ciel » (1955), Gordon Douglas retrace la vie du pilote Joseph McConnell un as de aviation américaine pendant la guerre de Corée, Alan Ladd tient ce rôle, après la guerre sous le contrôle de TY (James Whitmore) il devient un pionnier pour tester les avions à réaction, il perdra la vie lors d'un essai sur un nouveau jet.

Il est remarquable en trappeur aux côtés de Victor Mature et l’Indien Mongo (Pat Hogan) dans le western d’Anthony Mann « La charge des tuniques bleues (1955) où tous les trois doivent faire face à une future attaque des indiens Sioux. Alfred L. Werker signe le drame sur la délinquance « Graine de révolte » (1957), Sal Mineo, adolescent solitaire et rebelle pensionnaire d'un orphelinat, aide James Withmore un prisonnier évadé condamné à tort à retrouver sa dignité. Puis tirée d’une histoire vraie « Black like me » (1964) de Carl Lerner, il campe un reporter blanc qui, au sommet du mouvement des droits civiques, assombri sa peau pour qu'il puisse vivre les réalités de la vie d'un Noir du Sud.

Greer Garson, Doug McClure et James Whitmore - Dans la Série TV : Le Virginien - Épisode : Lady at the Bar

En 1967, il tient le rôle du Président de l'assemblée dans le premier volet « La planète des singes » de Franklin J. Schaffner avec Charlton Heston, Roddy McDowall et Kim Hunter. Il enchaîne avec deux policiers assez nerveux, il est l'inspecteur en chef Charles Kane corrompu dans « Police sur la ville » (1968) de Don Siegel, avec Richard Widmark et Henry Fonda ; un sale type dans « Le crime c'est notre business » (1968) de Gordon Flemyng, après un hold-up, McClain (Jim Brown) dépose le butin chez son ex-femme, Ellie (Diahann Carroll) mais un certain Herb Sutro (James Whitmore), fait irruption chez eux l'absence de McClain , il tente de violer Ellie avant de l'abattre, découvrant l'argent, il s'en empare ; puis il est Levi l'un des sept mercenaires recrutés pour libérer un leader révolutionnaire mexicain (Fernando Rey) dans « Les colts des sept mercenaires » de Paul Wendkos ; il retrouve un genre qu'il affectionne particulièrement, le film de guerre, il tient le rôle du Vice-Amiral William Halsey dans le célèbre « Tora! Tora! Tora! » (1970) avec entre autres les acteurs japonais Tatsuya Mihashi, Kazuo Kitamura et So Yamamura.

Dans le très violent « Les collines de la terreur » (1971) de Michael Winner, Chato (Charles Bronson) un métis indien, abat un shérif qui le provoquait, James Withmore participe à une chasse à l'homme qui va tourner au carnage. Dans le film étrange et angoissant « L’œuf du serpent » (1976) de Ingmar Bergman dans un Berlin ou règne chômage, misère, désarroi et atrocités, il campe un prêtre aux côtés de David Carradine et Liv Ullmann.

Les années suivantes, une nouvelle génération de spectateurs le découvre avec « Les évadés » (1993) de Frank Darabont aux côtés de Morgan Freeman, James y interprète le rôle d’un des prisonniers du pénitencier de Shawshank, qui finira par se suicider par pendaison lors de sa remise en liberté.

La télévision lui donnera aussi l’occasion de participer à quelques épisodes des séries cultes telles : « Playhouse 90 » de 1957 à 1959, « La loi et M. Jones » de 1960 à 1962, « Rawhide » de 1962 à 1963, « Bonanza » en 1968, « Le Virginien » de 1966 à 1970, « Gunsmoke » de 1965 à 1973 et encore bien d'autres jusqu'en 2007.

Eloigné des plateaux de cinéma, James Whitmore profite de sa retraite pour s’occuper de ses petits enfants auprès de sa quatrième épouse Noreen Nash. En novembre 2008, se sentant très fatigué, les médecins diagnostiquent un cancer du poumon. La maladie le vaincra le 6 février 2009, entouré des siens, à son domicile de Malibu, en Californie.

1950 - Pour : BASTOGNE - Nomination aux Oscar, États-Unis.

1950 - Pour : BASTOGNE : Prix du Golden Globe - Meilleur second rôle masculin, États-Unis.