Oliver Norvell Hardy se narodil 18. ledna v Harlemu ve státě Georgia. Jméno Oliver dostal na památku svého otce, který zemřel krátce po jeho narození (když bylo malému Oliverovi pouhých deset měsíců). Hardyho rodiče pocházeli z Anglie a Skotska, jeho otec byl válečným veteránem – za války Severu proti Jihu bojoval na straně jižanských konfederačních vojsk a byl zraněn v bitvě o Antietam 17. září 1862. Po válce pracoval jako spousta dalších poražených jižanů pro železnici Southern Railroad v Georgii, kde jako předák řídil stavbu tratě z Augusta do Madisonu. Zde se seznámil se svou budoucí ženou Emily Norvellovou pocházející z Williamsburgu, kterou si vzal 12. března 1890. Než se Oliver Hardy narodil přesunula se rodina do Harlemu v Georgii.
Ještě jako mladý utekl Oliver z domova a připojil se k divadelní společnosti. Později šel na matčin popud do internátní školy, z té ale později také utekl. Nakonec jeho matka rozpoznala Oliverův vyjímečný pěvecký talent a poslala ho na studia do prominentní hudební školy v Atlantě, ale Oliver ve škole vynechával hudební lekce a místo toho raději zpíval ve variaté. Ze školy byl proto propuštěn a byl poslán do armádní vysoké školy. Odtud později opět zdrhl a z původní představy studia zákona začal následovat sen o kariéře zpěváka.
V roce 1910 začal pracovat jako promítač, prodavač lístků, údržbář a později i jako vedoucí společnosti v Palace Theater, prvním kině v Milledgeville. Tady se Hardy seznámil s prvními filmovými komediemi a rozhodl se specializovat na tento žánr.
Roku 1912 opustil své zaměstnání v Milledgeville a odešel do městečka Jacksonville na Floridě, kde právě rozkvétal filmový průmysl. Tam ale nenašel žádné uplatnění u filmu, jak chtěl, a proto si musel vydělávat na svou obživu pěveckými výstupy.