Herec a divadelní i filmový režisér. V roce 1949 absolvoval Moskevskou uměleckou divadelní školu a byl pozván do souboru Ústředního dětského divadla, kde v krátké době ztvárnil více než 20 rolí. Zde debutoval jako režisér inscenací vaudevillu „Dimka neviditelný“ (1955). Zároveň začal učit na Moskevské umělecké divadelní škole, byl asistentem na kurzu A. M. Kareva, později profesorem a vedoucím katedry herecké dovednosti.
V roce 1970 Jefremov přijal pozvání starší generace herců Moskevského uměleckého divadla a stal se hlavním ředitelem zmíněného divadla. Za třicet let v divadle režíroval více než 40 představení a ve 14 z nich sám účinkoval. Inscenoval všechny hlavní hry A. P. Čechova.
Byl jedním ze zakladatelů a prvním tajemníkem představenstva Svazu divadelníků SSSR. Od roku 1955 byl také členem KSSS. Obdržel tato ocenění: Ctěný umělec RSFSR, Lidový umělec RSFSR, Lidový umělec SSSR, Hrdina socialistické práce.
Oleg Jefremov byl několikrát ženatý. Z manželství s herečkou Allou Pokrovskou měl dceru a syna Michaila Jefremova. Oleg byl pohřben 31. května 2000 na Novoděvičím hřbitově v Moskvě.