Arthur Joseph O'Connell měl svůj divadelní debut již ve 30. letech, kde si ho všiml Orson Welles, který zrovna zakládal svojí vlastní divadelní společnost Mercury Theatre a Arthur se hned přidal. Orson ho obsadil do svého filmu Občan Kane (1941), kde si zahrál malou roli reportéra, film je brán jako první film Arthura O'Connella, což není pravda. Arthur si totiž stihl zahrát ještě v několika krátkých a studentských filmech.
Dalo by se říci, že v 60. letech byl na vrcholu své filmové kariéry, získával jednu roli za druhou a na filmovém plátně se objevil vedle slavných jmen jako Cary Grant a Tony Curtis, společně si zahráli ve filmu Operace spodnička (1959). Zahrál si také otce Elvise Presleyho ve filmu Jdi za svým snem (1962). V těchto letech se také chtěl vyhnout televizním seriálům, které se stávali čím dál větší senzací, nakonec tomu přeci jen neunikl a zahrál si v seriálu Empire na stanici NBC. Od té doby jsme ho mohli vidět jen v několika epizodách různých seriálů.
V polovině 70. let ho jeho chatrné zdraví donutilo opustit herectví. Nicméně i nadále ho diváci vídali v televizní reklamě na Crest, kde si zahrál přátelsky vyhlížejícího lékárníka, nebo jeho hlas mohli zaslechnout v dalších reklamách. Arthur O'Connell zemřel v květnu 1981 na Alzheimera. Oženil se jednou v roce 1962 s Ann Hall Dunlop, manželství skončilo rozvodem v roce 1972 a zůstalo bezdětné.