Il démarre au cinéma au début des années 40 et se fait remarquer dans des seconds rôles de bad guys, d’abord Le cavalier fantôme (1949) dans le rôle du fils du chef d’une famille de hors-la-loi incarné par Walter Brennan.

Puis The savage horde (1950) avec Bill Elliott, La piste des caribous (50) avec Randolph Scott, un rôle de méchant encore dans La ruée vers la Californie (1950) et La rivière de la mort, en 1951, où il joue un Caporal à Little Big Horn, La revanche des Sioux (51), un western avec Gene Autry : Silver Canyon en 1951, le poétique et magnifique La captive aux yeux clairs (1952), où il est un trappeur criminel se mesurant à Kirk Douglas et ses acolytes. C’est un de ses premiers grands rôles.

Ceux qu’il aura désormais sont plus étoffés, comme le bandit Younger dans une histoire des frères James dans La femme qui faillit être lynchée en 1953... Suivront La grande caravane en 1954, encore un rôle de méchant, le Major qui s’est approprié le ranch du père de John Derek dans Les proscrits du Colorado (1954), La loi du plus fort (55), puis l’histoire de Fort Alamo dans Quand le clairon sonnera (55) avec Sterling Hayden, La horde sauvage (56), enfin un 3e rôle dans Bagarre à Apache Wells en 1957.

Duel à Apache Wells 1957 marque un tournant pour lui, il a enfin la tête d’affiche de L’Ultime chevauchée : un officier qui, après la guerre au Mexique, prend les terres que possèdent ses ennemis, et menace quiconque oserait le défier...
Puis, il interprète la fameuse canaille Johnny Ringo du clan Clanton dans The toughest gun in Tombstone (1958). Il est encore vedette du western A lust to kill cette année-là, et interprète le sympathique outlaw Frank James dans Ne tirez pas sur le bandit, western comique avec Bob Hope.

À cette époque, Davis commence à travailler de plus en plus pour la télévision, apparaissant dans des séries comme U.S. Marshal The Deputy, Le Virginien, Hondo, Cimarron, Bonanza... etc. et il tient un petit rôle dans la grosse production Les 7 mercenaires de John Sturges en 1960, et campe un marshal dans le western horrifique Jesse James contre Frankenstein en 1966.

Au cinéma, il va continuer à alterner seconds rôles (El Dorado en 1967 et Fort Utah) et premiers rôles comme dans Border lust (67). Il figure en 1970 au générique du western ultra-violent d’Al Adamson Five bloody graves...

... puis de Monte Walsh avec Lee Marvin et aussi de Rio Lobo avec John Wayne. Il enchaîne avec un autre western du Duke en 1971, l’excellent Big Jake, dans lequel Davis joue le chef des lyncheurs... Puis The Trackers et un shérif dans Les Centaures (72) de Steve Ihnat avec James Coburn.

Davis joue encore un marshall dans la série The cowboys en 1974. Jim ne se lasse pas des westerns, c’est Law of the land, téléfilm avec Don Johnson en 1976, avant The legend of Frank Woods en 77, et Le souffle de la tempête (78) avec James Caan, son dernier western, alors qu’il commence à tourner dans DALLAS... univers impitoyable... ça, c’est une autre histoire !

Son empreinte d'immortalité pour la télévision, repose au Walk of Fame, au 6290 Hollywood Boulevard.