Narodil se jako Joseph Sauers a jeho předkové pocházeli z Německa, nikoli z Irska, jak se občas tradovalo. Byl prototypem drsňáka: robustní stavba těla, vyčnívající brada a drobné oči, to vše v kontrastu ke světlým vlasům a o něco výše posazenému hlasu vytvářelo nezaměnitelnou figuru. Jeho otec byl řezník a umřel, když byl Joseph ještě dítě. Každé léto tvrdě pracoval na stýcově farmě v Saskatchewanu. Časem se z rodné Kanady přesunul do Kalifornie, kde začal usilovat o kariéru herce.
Po rozvodu se vrací do Kalifornie, kde podepisuje smlouvu se studiem Metro-Goldwyn-Mayer. Debutoval v roce 1931, ještě pod svým rodným jménem. Začínal v malých rolích urostlých Irů a tvrdých chlapíků, postupně byl se stejnou lehkostí schopen ztvárnit policejního pochůzkáře i ozbrojeného kriminálníka, trenéra i fotbalového hráče, vyhazovače i parťáka s pistolí v ruce. Objevil se ve více než dvou stovkách filmů všech možných žánrů. Ve 30. a 40. letech byla jeho tvář filmovým divákům dobře známá.
Asi nejznámější role ztvárnil v psychologickém dramatu Denunciant (1935) s Victorem McLaglenem a v romantickém krimi thrilleru Zkamenělý les (1936) s Leslie Howardem, Bette Davis a Humphrey Bogartem. Objevoval se v televizních seriálech, pravidelně jako seržant Biff O‘Hara v The Adventures of Rin Tin Tin (1954); stejnou roli měl i ve filmu a rozhlase. Dále to byly seriály televize ABC jako Maverick (1957), Sugarfoot (1957), Peter Gunn (1958) a Surfside 6 (1960) nebo Bat Masterson (1958) vysílaný televizí NBC.
V roce 1937 si vzal June Golden, která byla údajně jeho životní láskou. Měli spolu pět dětí. V roce 1960 June umřela na leukémii. Po smrti ženy zanechal aktivní kariéry, opustil rodinný dům v Glendale a přestěhoval se do menších prostor v Beverly Hills. Nechal se však ještě umluvit svým kamarádem Johnem Waynem na natáčení hvězdami napěchovaného westernu Jak byl dobyt Západ (1962). Byl vášnivým čtenářem, měl rád dobré jídlo i doutník. Bavila ho auta i jachtaření. Rád také cestoval a této zálibě se po ukončení své herecké dráhy hodně věnoval.