No fue hasta después de la II Guerra Mundial, donde sirvió en el Cuerpo de Marines de los Estados Unidos, cuando comenzó su carrera en Broadway interpretando a un sargento en la obra teatral ‘Command Decision’, por la que ganó un Premio Tony a la Mejor Interpretación Joven Actor en 1948. Su primer papel en un largometraje fue junto a Spencer Tracy en el film ‘Battleground’, que le valió la nominación al Oscar por Mejor Actor de Reparto.
Interpretaría al presidente norteamericano Harry S. Truman en ‘Give ‘em Hell, Harry!’ (nominado al Oscar como Mejor Actor Principal en 1976), a Abraham Lincoln en la serie de televisión ‘The Law and Mr.Jones’, al presidente de la asamblea de simios en ‘El planeta de los simios’, así como decenas de papeles secundarios. En el año 2000 ganó un Premio Emmy por su intrepretación en ‘The Practice’. Pero si hay un papel por el que todos le recordaremos fue el del prudente y solitario bibliotecario Brooks en ‘Cadena Perpetua’ (The Shawshank Redemption), extraordinario film donde los haya, y una película que todo el mundo debe ver y disfrutar.