Pochází ze sportovní rodiny. Jeho matka hrála za národní mužstvo pozemní hokej, otec hrál ragby. Josef se vydal ve šlépějích svého otce a s ragbyovým mužstvem projel celou Evropu. V dětství se věnoval také herectví, ale později se stal služebním řidičem a taxikářem. Byl ženatý a měl dceru Moniku. Z filmování na Barrandově si zamiloval pauzy mezi natáčením, kdy s kamarády „prošmejdili“ všechna studia a viděli dekorace do dalších filmů či přímo jejich natáčení. Za roli ve filmu Máte doma lva? (1963) získal na filmovém festivalu v Benátkách v roce 1964 cenu za nejlepší mužský herecký výkon.