Jeho životní pouť začala roku 1963 v Nebrasce. V mládí vůbec nepomyslel na to, že by se někdy mohl stát hercem. Vzhledem ke své nadprůměrné inteligenci již od počátku aspiroval na zaměstnání právníka, ale v době, kdy se připravoval na složení přijímacích zkoušek, zároveň probíhal v Nebrasce Shakespearovský festival, na který se zapsal jako herec a uspěl. Potom, co dostal roli ve Snu noci svatojánské a Hamletovi, rozhodl se, že půjde nakonec studovat herectví.
Mezi jeho úspěšnější filmy z dřívější doby se tak řadí THE NEXT BEST THING a THE JOYRIDERS. Občas také hostoval v seriálech jako CHICAGO HOPE, STAR TREK: VOYAGER nebo ALLY MCBEAL.
Všeobecně se zviditelnil charakterově velmi dobře propracovanou a herecky bravurně zvládnutou postavou detektiva Hollanda "Dutche" Wagenbacha ze seriálu THE SHIELD, kde dokázal svou schopnost hrát zvláštní a psychologicky relativně velmi komplexní postavy. Za tuto roli by mohl očekávat první významnější ocenění.
Jay Karnes má manželku a dvě dcery, dvojčata.