Attore assai popolare, proveniva da una famiglia di tradizione samurai. Eclettico e preparato, prima di esordire sullo schermo, dapprima in parti di scarso rilievo, aveva alle spalle una bella esperienza di teatro. L'incontro con il regista Akira Kurosawa, per il quale lavorò in ben 17 film, lo trasformò in uno degli attori più richiesti e significativi del cinema giapponese. Misurato nella recitazione, garbato nei modi, Shimura si è mosso con padronanza tra ruoli brillanti e personaggi malinconici, senza rifiutare di partecipare anche ad una produzione "minore", come quella di fantascienza, nel classico Godzilla.