James Edward Carter se narodil v Harrogate v North Riding of Yorkshire v Anglii. Jeho matka byla sekretářka a jeho otec pracoval pro ministerstvo. Carter navštěvoval Ashville College a University of Sussex, kde studoval práva a objevil se v divadelním spolku, kde ztvárnil titulní roli v „Serjeant Musgrave's Dance“. Po dvou letech opustil univerzitu, aby se připojil k malé divadelní skupině v Brightonu.
V roce 1978 odjel do Ameriky studovat cirkusovou školu, kde se naučil žonglovat, jezdit na jednokolce a chodit po laně. Jim Carter zaznamenával úspěch především na divadelních prknech. Od 80. let se objevoval i v televizi a na plátně, ale převážně ve vedlejších rolích. Nejvíce jej proslavila role pana Carsona v historickém seriálu ITV Panství Downton (2010–2015), který mu vynesl čtyři nominace na cenu Primetime Emmy za vynikajícího herce ve vedlejší roli.
Jim Carter a herečka Imelda Staunton, známá především jako profesorka Umbridgeová z Harryho Pottera, se setkali v lednu 1982 během zkoušek hry Richarda Eyrea „Frajeři a saze“ v Národním divadle. Carterovi bylo 34 let, Stauntonové 26 let a považovala ho za starého. Stauntonové uvedla: „Pracovali jsme spolu rok a bylo to spíše pomalé zahřívání než opojný nával vášně.“ Vzali se v roce 1983 a mají jednu dceru Bessie, narozenou v roce 1993, která se zapsala do Národního divadla mládeže v roce 2010. Staunton o Carterově hraní říká: „Nikdy nebyl tím hercem, který by toužil hrát Hamleta. Možná je to proto, že se k herectví dostal z vystupování v cirkuse. Vždy dělal jen to, co dělat chtěl.“
Carter je horlivý cyklista a často jezdí pro charitativní účely. Dne 30. září 2011 odcestoval s 25 dalšími jezdci do Ghany na 10denní výlet, který zahrnoval šest dní na kole, aby získal peníze na čistou vodu v malém chudém městečku Tafo. Byla to jeho desátá charitativní jízda.