Cary se narodil v Londýně 26. října 1962. Pochází z katolické rodiny a je potomkem malíře Dominica Elwese a módní návrhářky Tessy Kennedyové, jeho dědeček byl slavný Britský malíř Simon Elwes. Většinu dětství strávil ve Španělsku.
Cary má starší bratry Cassiana (producent) a Damiana (malíř). Je ženatý od r. 1991 s Lisou Marií Kurbikoffovou. Hraje šachy, basketball a na piáno.