Narodil se ve Philadelphii 26. července 1884 (některé zdroje ale uvádějí 1882 či dokonce 1890). Část svého mládí byl ubytován v penzionu, kde také potkal W.C. Fieldse, známého amerického komedianta, herce a žongléra a díky němu také začal vystupovat v estrádě jako žonglér.
V roce 1949 pravidelně hrál v seriálu CBS Wesley a dále objevil se v mnoha dalších televizních filmech, seriálech a show různých producentů. V roce 1957 ale přišla jeho nejslavnější role ve filmu DVANÁCT ROZHNĚVANÝCH MUŽŮ, kde si po boku Henryho Fondy, Jiřího Voskovce a dalších zahrál porotce č. 9, starého moudrého pana McCardleho. Jinak byl Joseph Sweeney výborný především v rolích vychytralých darebáků a zlodějíčků, jako ve filmu MUŽ V ŠEDÉM FLANELOVÉM OBLEKU (1956), nebo ve westernu NEJRYCHLEJŠÍ STŘELEC (1956).
Joseph Sweeney byl především skvělý charakterní herec, který se pohyboval hlavně na prknech, která znamenají svět a na sklonku života i v televizní produkci. Zemřel ve věku 79 let 25. listopadu 1963 v New Yorku.