Jozef Čierny vyrastal v klasickej Turčianskej maloroľníckej rodine. Po vyučení pracoval vo viacerých zamestnaniach a súbežne sa venoval ochotníckemu divadlu, čo vyústilo k práci na plný úväzok a stálemu angažmánu v divadle. Pôsobil v divadlách v Martine, Prešove, Nitre a Bratislave. Jeho prísny výzor ho predurčil na väčšinu autoritatívnych postáv, ktoré stvárňoval v divadle a filme.
Okrem herectva pred kamerami sa v jeho hereckých začiatkoch objavoval aj za nimi ako osvetľovač a asistent réžie, kedy pracoval v Československom štátnom filme Bratislava.