Narodil se v Londýně, divadelnímu agentovi Robinu Foxovi a herečce Angele Worthingtonové, jejíž otec byl slavný dramatik Frederick Lonsdale. Je mladším bratrem Edwarda Foxe a filmového producenta Roberta Foxe. Jeho nevlastní bratr je Daniel Chatto. Jako většina z rodiny Foxů studoval v Harrow a stejně jako jeho bratr sloužil v Coldstream Guards.
V roce 1973 se oženil s Mary Elizabeth Piper se kterou má 4 syny a jednu dceru. Jedním z jeho synů je i herec Laurence Fox a jeho neteří je herečka Emilia Fox.