James LaRue Avery se narodil v Pughsville, Hampton Roads ve Virginii. Po absolvování vysoké školy se připojil k americkému námořnictvu a poté tento 194 centimetrů vysoký obr sloužil ve Vietnamu (1968-1969). Po odchodu z armády se přestěhoval do San Diega v Kalifornii a začal psát televizní scénáře a poezii. Získal stipendium na University of California v San Diegu na níž získal titul „Bachelor of Arts".
James Avery se nejvíce proslavil jako strýc Willa Smithe v seriálu The Fresh Prince of Bel-Air. Propůjčil svůj hlas k více než tuctu animovaným filmům. Zahrál si i ve sci-fi Star Trek: Enterprise nebo i v seriálu Chirurgové. Mihl se i v mnoha dalších seriálech Closer, Dallas, Čarodějky, Kriminálka Las Vegas.
31. Prosince 2013 zemřel ve věku 68 let na komplikace po operaci srdce v Los Angeles.