Narodil se v Londýně v Anglii, 7. září 1923 jako syn britského válečného hrdiny - majora Ernesta Vaughana Aylena, ale byl nemanželské dítě. Skutečným otcem byl Alyenův velitel, sedmapadesátiletý aristokrat, generálporučík sir Sydney Lawford. Jeho matka May Aylen se odhodlala podstoupit veškerá martyria spojená s nevěrou, ale i problémy porodu v pozdním věku, jen aby přiměla sira Lawforda ke sňatku. Náležel by jí pak titul Lady. Pro dokreslení povahových rysů této ženy je důležité zdůraznit, že naléhavým prosbám svého zákonného manžela o potomka odolávala šestnáct let! 9.října 1923 podal Aylen žádost o rozvod. Doba byla pokrytecká a ačkoli tento hrdý muž až do své smrti udržoval přátele v domnění, že Peter je jeho a několikrát se s ním i setkal, tisk si na celé situaci smlsnul. Upadnuti v nemilost britské smetánky, oddali se 11.září 1924 na Londýnské radnici jednačtyřicetiletá May (dva roky si ubrala) se skoro šedesátiletým sirem Sydney Lawfordem a stala se tak Lady Lawfordovou. Sen se ji splnil. Poté z Anglie odcestovali do Francie.
Jeho herecká kariéra započala ve velmi mladém věku. Rodina se po šesti letech vrátila do Anglie kde matka začala koketovat s politickou kariérou. V roce 1930 využil Peter matčiných známostí a dostal se navzdory přání otce pokračovat v jeho vojenské kariéře, k filmu. Některé jeho role z tohoto období se setkaly i s pozitivním ohlasem kritiky. To nakonec obměkčilo i otce, který herectví syna dlouho nedokázal překousnout. V roce 1932 se rodina opět vydala na cesty. Po dobu dalších pěti let nesetrvali nikde déle než devět měsíců. Peter, na to později rád vzpomínal. Seznam by jistě vydal mnohá místa na zemi.
Jako čtrnáctiletý si Peter velmi vážně poranil ruku když se podle vlastních slov "pokusil otevřít dveře přes skleněnou výplň." Lawfordova paže byla těžce zraněna a málem o ruku přišel. Proležel šest neděl a ruka jíž nikdy neměla být v pořádku. Ohebnost utrpěla, což ho již obtěžovalo po celý život. Bylo to ale vlastně štěstí v neštěstí. Jak se později ukázalo umožnilo mu to rozjet hereckou kariéru v době, kdy jiní museli narukovat do války. On zproštěn tohoto, mohl tak hrát role, které by jinak možná jeho nikdy nebyly. Nicméně po čase se stav poranění zlepšil. Zprvu i proto, že na doporučení lékařů vydat se za teplem, zvolila matka jako místo k tomu vhodné Los Angeles, což je jen malý krůček do Hollywoodu.
Matka obstarala lačnému chlapci nezbytnou agentku - svou známou z Anglie a jeho první film v USA byl LORD JEFT z roku 1938 v režii Sama Wooda. V hlavní roli zářila sedmnáctiletá hvězda studia MGM Mickey Rooney. Peterovo jméno se objevilo i v titulcích, ale poněkud vzadu. Kritiky na vedlejší role, tedy i přímo na Petera byly příznivé, leč bezprostřední nabídka na další film nepřišla.