Syn prominentného právnika, sudcu Henryho DeWitta Careyho a Elly J. (Ludlum), sa narodil 16. januára roku 1878. Vyrástol v City Island na predmestí Bronxu. Počas svojho života vystriedal niekoľko zamestnaní, vrátane povinností kovboja, k čomu sa neskôr vo svojich filmoch aj vrátil. Nastúpil na Hamiltonskú vojenskú akadémiu a študoval právo na New York University. Keď mu nehoda na lodi spôsobila zápal pľúc, rozhodol sa napísať jednu hru, ktorá sa nečakane stala úspešnou. V roku 1911 ho jeden priateľ zoznámil s G.W. Griffithom a po čase natočili niekoľko filmov.
Harry Carey sa oženil minimálne dvakrát (podľa dobových záznamov nie je istý presný počet sobášov), avšak ten najdlhší trval od roku 1920 až po dátum jeho smrti (21.9.1947). Vlastnil ranč v Saugusu (severná časť Kalifornie) a spolu s ním si v Červenej rieke (1948) zahral aj syn Harry Carey Jr., ktorý si spoločne s Careyho ženou na jeho počesť zahral aj vo Fordovom legendárnom SEARCHERS (1956), na žiadosť Johna Waynea.