Sergej Sergejevič Jakovlev vyrůstal v dětském domově bez rodičů, na něž dopadly stalinské represe 30. let, později byl osvojen bezdětným párem. I nový otčím, vysoký funkcionář zahraničního obchodu, byl zastřelen a zůstala mu jen nevlastní matka, herečka Marie Feofanovna, která si vzala zpět své dívčí příjmení Jakovlevová (podle některých zdrojů nedošlo k žádnému osvojení a ti dva byli jeho skutečnými rodiči). Vychodil v Moskvě osmiletku a dále se učil na soustružníka.
S návratem k civilnímu životu se projevila i jeho láska k herectví. Zprvu to byly pouhé role divadelních statistů, ale když v r. 1952 ukončil GITIS, dostal už řádné divadelní angažmá. S filmováním začal záhy poté, v roce 1956 hned hlavní rolí v dramatu Dolgij puť (resp. se mihl v krátkometrážním filmu o pravidlech silničního provozu o rok dříve) a jeho filmografie pokrývá až do roku 1992 prakticky každý rok.
Měl čtyři děti se třemi ženami, s poslední – básnířkou Natalií Jurkovovou – psali veršovaný román o osudech ruské inteligence 20. století, jehož dokončení se už nedočkal.