Josef Gruss se narodil 9. března 1908 v Praze. Absolvoval v roce 1928 pražskou konzervatoř u profesora Hurta. Krátce působil v pražském Mertenově divadle, v České komorní scéně (1928 – 1929), v Osvobozeném divadle (1929 – 1930), v Městském divadle v Olomouci (1930 – 1931), v Zemském divadle v Brně (1931 – 1932) a s E. F. Burianem v roce 1932 spoluzaložil kabaret Červené eso (zde se hrála také jeho hra „Loď živých“).
I přidělené malé role (poštmistr v Gogolově „Revizorovi“, Šumbal v „Našich furiantech“, ironický rádce v „Paní studánky“) dokázal vyzdvihnout na úroveň velkých postav. Mistrně hrál zlé mstivé intrikány a bezohledné mocipány, do kterých byl stereotypně obsazován zejména ve 40. a 50. letech. Hrál také dobře charakterní role i veseloherní postavy, založené na kousavé ironii a satirickém šlehu. Josef Gruss byl manželem herečky Jarmily Švabíkové (1906 – 1969).
Jako herec se poprvé ve filmu objevil v roličce sládka v dramatu PRAŽSKÝ FLAMENDR (1926). Celý život hrál malé roličky, kterých ztvárnil přes třicet. Z těch větších předválečných a válečných si určitě připomeňme: hejtmanova (Jaroslav Marvan) sluhu v REVIZOROVI (1933) Martina Friče, mladíka ve společnosti v MAZLÍČKOVI (1934), Ottu ve Vávrově a Haasově VELBLOUDU UCHEM JEHLY (1936), Zdeňka Koláře v crazy komedii EVA TROPÍ HLOUPOSTI (1939) opět Martina Friče, utopence Vodičku v Burianově komedii RYBA NA SUCHU (1942) Vladimíra Slavínského a další.
Z poválečných větších úloh uveďme JUDr. Jindřicha Plevku ve Slavínského snímku DNES NEORDINUJI (1948), hraběte z Vrtby ve Fričových PSOHLAVCÍCH (1955), nadporučíka Vejrycha v Blumenfeldových KASAŘECH (1958) či Viscontiho v historické komedii SLASTI OTCE VLASTI (1969) Karla Steklého. Naposled se divákům uvedl jako komisař Faltys v Čechově hudební komedii SVATÁ HŘÍŠNICE (1970).