James B. Harris byl synem obchodníka a producenta na Broadwayi. Narodil se v New Yorku a před vstupem do filmového průmyslu navštěvoval Juilliard School. Jeho bratr J. Robert Harris byl také umělecky založený a stal se z něho skladatel.
Harrisovým režijním debutem byl thriller ze studené války The Bedford Incident (1965). Režíroval také herce Jamese Woodse ve dvou filmech: drama Fast-Walking (1982) s herečkou Kay Lenz a thriller Polda (1988) založený na románu Jamese Ellroya, který Woods koprodukoval. Harris režíroval a sepsal scénář naposledy v roce 1993 pro thriller Bod varu, ke kterému poznamenal: „Nesmírně se mi líbila práce s Dennisem Hopperem na tomto filmu.“
Jeho filmy se často zabývají policajty a podvodníky a mají často noir-ish tón. Web Turner Classic Movies popisuje Harrise jako „veterána hollywoodského průmyslu, který pracoval jako producent, režisér a scenárista na trojnásobné povinnosti“. Rozhovor z roku 2002 mezi Harrisem a Hollywood Five-O zahrnuje diskuzi o jeho dílech i o Kubrickovi, Marlonovi Brandovi, Laurence Olivierovi, Lolitě a různých dalších tématech.
Od adaptace nejprodávanějšího románu Jamese Ellroya „Černá dahlia“ odešel, když si uvědomil, že nebude mít úplnou svobodu a tvůrčí kontrolu nad filmem (Černá Dahlia, 2006).