Milo je šesté dítě hollywoodského herce Mela Gibsona a jeho manželky Robyn Moore. Milo vyrůstal v Malibu v Kalifornii, kde na střední škole hrál americký fotbal a vyučil se jako elektrikář a tímto povoláním se i živil. Po několika letech se rozhodl následovat svůj sen a začal studovat drama v Santa Monice. V jednom časopisovém článku se Milo zmínil, že kráčí v otcových stopách, ale že doufá, že se mu podaří vystoupit z jeho stínu.