James Karen sa narodil ako Jacob Karnofsky v mestečku Wilkes Barre, na severovýchode Pennsylvánie, ako syn v Rusku narodených židovských emigrantov Mae a Josepha H. Karnofskych. K herectvu ho dotiahol demokratický kongresman Daniel J. Flood. James sa stal hercom v miestnom divadle a neskôr sa zapísal na Neighborhood Playhouse School of the Theatre, hereckú školu v New Yorku.
Na televíznych obrazovkách zažil premiéru o rok neskôr, keď sa stal súčasťou obsadenia televíznej adaptácie románu Charlesa Dickensa – A Christmas Carol, ktorá bola súčasťou seriálu The Philco Television Playhouse. Počas svojej plodnej hereckej kariéry sa postupne objavil vo vyše 100 televíznych projektoch, z ktorých asi najpamätnejším bola postava Michaela Bancrofta v seriáli First Monday (2002). Okrem toho hosťoval v množstve známych seriálov, ako napr. Knots Landing, Dallas, M.A.S.H. či JAG alebo MacGyver.
Od televízie je už len krôčik k filmu a James Karen ho spravil v roku 1965, keď dostal úlohu v nízko rozpočtovom sci-fi filme Frankenstein Meets the Space Monster. Bola to jeho prvá a zároveň aj posledná hlavná úloha za celú jeho hereckú kariéru. Potom už nasledovala len približne stovka vedľajších, aj keď často zaujímavých úloh. Medzi jeho najznámejšie patrí postava Mr. Teagua, realitného makléra, ktorý svojou nenásytnou túžbou po bohatstve spôsobil všetky problémy v Poltergeist (1982) či predák skladu Frank v The Return of the Living Dead (1985), ktorý náhodne spustil celú zombie lavínu. Kvôli popularite posledne menovanej postavy si aj napriek tomu, že vo filme zomrel, zahral aj v pokračovaní Return of the Living Dead: Part II (1988). Jeho tvár si je možné všimnúť aj v množstve zaujímavých filmov – The China Syndrome (1979), trojica filmov Olivera Stona Wall Street (1987), Nixon (1995), Any Given Sunday (1999) či Lynchov Mulholland Drive (2001). Rozlúčkou nie len so svetom filmu sa mu stal komediálny horor Cynthia (2018), kde stvárnil malú cameo úlohu.
James Karen zasvätil veľkú časť svojho života obchodným reťazcom Pathmark. Takmer tri desaťročia vystupoval v televízii a rádiu v reklamných spotoch pre tento supermarket, čo mu vyslúžilo prezývku Mr. Pathmark. Zomrel 23. októbra 2018, krátko pred dovŕšením veku 95 rokov. Počas neuveriteľných 71 rokov hereckej kariéry stvárnil okolo 200 filmových postáv. Celé svoje účinkovanie vo filmovom priemysle raz zhodnotil týmito slovami: „Ľudia ma nepoznajú po mene, ale poznajú moju tvár.“