Jeho otec byl známý řečník a matka zpěvačka, která jako dítě vyhrávala recitační soutěže. Vystudoval St. Nicholas School na Golden Square v Londýně, kde rád zpíval komické písně na školních koncertech.
Během druhé světové války sloužil v Royal Air Force. Než se začal věnovat herectví, pracoval jako cirkusový klaun. Objevil se také v Gang Shows a v mnoha různých varieté, než debutoval na plátně ve filmu The Cockleshell Heroes, a poté se objevil v mnoha britských filmech, kde obvykle zobrazoval vojenské typy a často s komediálními vlohami. Byl blízkým přítelem Petera Sellerse a objevil se jako součást týmu Spika Milligana v jeho programech Q.
Dlouhá léta žil jako svobodný mládenec se svými rodiči a andulkou ve Winchmore Hill v severním Londýně. V červnu 1963 však při práci v Jugoslávii na vikingském eposu The Long Ships (1964) všechny překvapil. Po námluvách, které trvaly 24 hodin, požádal o ruku francouzskou novinářku a bývalou modelku Marilyn Garcii (1963–1996) a brzy se vzali.
V roce 1986 Lodge napsal autobiografii „Up the Ladder to Obscurity“.