Dětsky vyhlížející mladík od protinožců z nějakého důvodu přitahuje starší ženy a ačkoliv podle některých působí asexuálně, v jednom roce ztvárnil legendárního benátského svůdce i homosexuálního kovboje. Hned tři filmy, v nichž hrál, byly promítány na filmovém festivalu v Benátkách v roce 2005.
Jeho pověst hezkého mladíka s mírně vlnitými vlasy a hnědýma očima však dlouho podporovalo podstatně větší množství článků o románcích se staršími herečkami, než o jeho hereckých kvalitách. V době natáčení televizního seriálu Roar chodil s americkou Řekyní a kolegyní Lisou Zane (1961), asi půl roku strávil s plavovlasou americkou herečkou Heather Graham (1970) a téměř dva roky tvořil pár s další blondýnkou, tentokrát s australskou herečkou Naomi Watts (1968). Dlouho tvrdil, že dává přednost randění se staršími ženami, protože nezkoušejí hrát starší, jako mladé dívky, ale naopak se snaží dělat mladšími. Ale pak se se slovy „čeká mě ještě hodně práce a nechci se vázat“ rozešel i s kráskou Naomi Watts. Jeho poslední přítelkyní je poprvé mladší herečka Michelle Williams (1980) a od podzimu 2005 Ledger zřejmě změnil názor i na nevázané mládí a stal se nadšeným otcem jejich dcery Mathyldy Rose Ledger.
Loni ztělesnil dokonce mladého Casanovu a sebevědomě prohlašoval, že se naučil dobře rozumět ženám už v dětství, protože vyrůstal mezi třemi sestrami. Jeho rodiče se rozvedli, když mu bylo deset a ačkoliv vyrůstal u matky, s otcem jsou dodnes dobří přátelé. Ostatně, Heath i jeho sestra Kate se jmenují podle postav románu Emily Brontë Na větrné hůrce. Oba rodiče se pak vrhli do nových manželství, z nichž má Ledger dvě nevlastní sestry Olivii a Ashleigh. Navštěvoval soukromou chlapeckou školu Guildford Grammar a během školní docházky osciloval na pomezí dvou zájmů: dramatu a sportu. Na začátku devadesátých let sbíral ceny s hokejovým týmem, později jako kapitán školního dramatického spolku. Přesto ho škola nebavila a v šestnácti vyrazil se svým nejlepším kamarádem hledat štěstí do Sydney. Herectví však ani tu, ani jinde nestudoval, protože v něm neuznává techniku nebo pravidla. V Sydney se tenkrát živil mytím aut a chodil po konkurzech.
Už nikdy 10 věcí, které na tebe nenávidím