V letech 1941–1943 byl soustružníkem v letecké továrně, v letech 1943–1944 studoval na letecké technické škole Sergeje Ordžonikidzeho. Ve třetím ročníku technické školy nastoupil na dramatické oddělení Moskevského experimentálního divadelního studia pod vedením Rostislava Zacharova, slavného choreografa Velkého divadla. Ve studiu trávil každý den od osmi ráno do jedné hodiny v noci. Velký vliv na něj měl Andrej Gončarov, který po návratu z fronty začal vést jejich kurz. Studium absolvoval v roce 1947 a byl přijat do Dzeržinského divadla v Moskvě.
Ve filmu se herec objevoval od roku 1947. Dobromyslný vzhled, úsměv a veselost spolu s jasným komediálním talentem poskytly Leonovovi široké uznání. Mnoho generací diváků si oblíbilo zejména jeho hlasovou práci na animovaných filmech, zejména roli Medvídka Pú v sérii animovaných filmů v letech 1969–1972.
V roce 1982 byl zvolen společenským ředitelem Ústředního hereckého domu A. A. Jabločkina. V roce 1988 během turné po Německu prodělal „klinickou smrt“ v důsledku masivního infarktu. Podstoupil akutní operaci koronárního bypassu a byl 16 dní v kómatu. Po čtyřech měsících se vrátil k herectví.
Je držitelem ocenění: Zasloužilý umělec RSFSR, Lidový umělec RSFSR, Lidový umělec SSSR. Pohřben je na Novoděvičím hřbitově v Moskvě. Jeho manželkou byla Vanda Vladimirovna Leonova, rozená Stoilova, zaměstnankyně literárního oddělení divadla Lenkom. Jeho synem je filmový a divadelní herec, zasloužilý umělec Ruska Andrej Leonov.