Il a été entouré par des gens prestigieux lors de son enfance mais a reçu une éducation en pensionnat. Il a pu jouer dans des pièces scolaires avant de suivre une formation à la Yale School of Drama. Ensuite, il a auditionné à la télévision et au théâtre.

Après son service militaire lors de la Seconde Guerre mondiale avec l'infanterie de l'armée dans laquelle il a reçu la Purple Heart après avoir été blessé, un réalisateur et ami de la famille, Garson Kanin,lui a donné son premier rôle professionnel dans une production de Broadway "Le chemin robuste" ( 1945) qui mettait en vedette Spencer Tracy. Et sur scène avec l' American Repertory Theatre dans des classiques tels que " Henry VIII " et " Androcles et le Lion " en apparaissant en face à la légendaire Eva Le Gallienne dans " Hedda Gabler ".

Zimbalist s'est ensuite lancé comme un metteur en scène avec succès à l'opéra pour un public de Broadway avec des présentations mémorables de "The Medium ". Comme producteur de Gian Carlo Menotti "Le Consul", il a remporté le prix du New York Drama Critic et le Prix Pulitzer pour la meilleure comédie musicale en 1950.

Le cinéma débutera avec un film prometteur face Edward G. Robinson dans La maison des étrangers (1949 ) mais en raison de la mort prématurée de sa femme Emily d'un cancer en 1950, il ralentira ses activités et travaillera avec son père.

En 1954, Efrem se tourne vers la télévision et c'est le célèbre réalisateur Joshua Logan, qui s'est révélé efficace pour aider Zimbalist avec un contrat Warner Bros. Il jouera un rôle de détective privé 77 Sunset Strip (1958 ) et le tenace inspecteur Lewis Erskine sur Sur la piste du crime (1965 ). Il y incarnait incarnait la fidélité, le courage et l'intégrité. 241 épisodes de The FBI...

Il tournera alors pour le cinéma des films décents tels que L'esclave libre (1957) avec Clark Gable et Yvonne De Carlo ; Une femme Marquée (1958 ) mettant en vedette Dorothy Malone et Errol Flynn, La fièvre dans le sang (1961 ) face à Angie Dickinson et Seule dans la nuit (1967 ) ( il a joué le mari photographe de l'aveugle Audrey Hepburn.)

En 1991, il s'est moqué de sa réputation dans la comédie parodique Hot Shots ! (1991). Il travaillera beaucoup pour le théâtre au fil des ans et prêtera sa voix de baryton à de nombreux dessins dessinés, y compris celle d'Alfred le majordome sur un "Batman".

En 2003, il a rédigé ses mémoires, intitulé "My Dinner of Herbs". Père de trois enfants, il s'installe à Santa Barbara avec sa seconde épouse Stephanie jusqu'à sa mort suite à un cancer en 2007. Leur fille, également nommé Stephanie (Stephanie Zimbalist), est l'actrice bien connue qui est apparu avec Pierce Brosnan dans le "Les Enquêtes de Remington Steele" (1982 ) série télévisée, dans laquelle Zimbalist avait un rôle récurrent. Lui et sa fille sont également apparus sur scène ensemble, "La Nuit de l'iguane".

1959 - Golden Globe du meilleur espoir masculin, États-Unis.