Liverpoolský rodák se narodil 20. ledna 1934. Byl nejstarší ze tří sourozenců. Matka, zapálená katolička, se živila jako barmanka a uklízečka. Jeho židovský otec pracoval u obchodního námořnictva. Není tedy žádným překvapením, že rodina byla chudá. Díky podpoře příbuzných, ale netrpěl a dětství neměl rozhodně nešťastné. I přesto, jeho první ambicí bylo stát se sirotkem. Budiž, jeho modlitby byly omluveny touhou po malém, leč pro kluka nezbytném, utěšujícím dárku od amerických bratří. Na ten měl ovšem nárok jen při případné smrti rodičů. V patnácti letech Tom opustil školu. Stal se mnichem. Šest let žil věrně Bohu, ale pak se v jeho mysli cosi zvrtlo, nebo za to mohly ručníky... „Nikdy nezapomenu na ty ručníky. Byly stejně hrubé jako sýr graters; nepotřebovali jsme se oholit."
Po skončení služby navštívil několik dramatických škol, kde sice nezůstal, ale díky kterým se udály dvě věci jeho budoucímu životu důležité. Za prvé, potkal Laurieho Taylora – moderátora BBC Radia 4. A za druhé, seznámil se se svou budoucí ženou. Anna Wheatcroft, jíž si v roce 1961 vzal a jejíž rodina byla známá pěstováním růží, mu povila dva syny, Daniela a Pierse. Po narození druhého syna se v manželství objevily problémy a nakonec se svazek rozpadl. Ač to byla smutná událost a Tom Baker přišel o práci v rodinném podniku, mohl nyní odejít do Londýna a zkusit štěstí jako herec.
Jeho první rolí byla role medvěda ve hře The Winter's Tale v Cambridge Theatre. Hrál různé role v různých divadlech, až se dostal do National Theatre, kde ho spatřil Laurence Olivier. Následovala 1. role ve filmu Nicholas a Alexandra, kde ztvárnil Grigoriho Rasputina. Nominace na Golden Globe Awards za vedlejší roli a objev pro něj byla překvapením. Vystřídal několik menších rolí v televizních a fantasy filmech, ale i v Pasoliniho I racconti di Canterbury.
Spolupracoval také s režisérem Billem Slaterem, což mu mělo v budoucnu změnit život. Následující pracovní krize ho donutila vzít zaměstnání i mimo uměleckou sféru, mimo jiné se živil i jako učitel jazyků. Po nějakém čase, se rozhodl zavolat Billu Slaterovi a poprosit ho o práci. Ten se zeptal hlavouna všech BBC seriálů a Tom Baker měl domluvenou schůzku s producentem seriálu Doctor Who, který zrovna opouštěl představitel hlavní role, John Pertwee. Jeho život byl obrovsky změněn.