Byl synem automechanika Johna W. Sweeta a matky Louisy Brasser. Zpočátku navštěvoval Alabamskou univerzitu v roce 1939, ale jeho studium bylo přerušeno službou letectva 2. světové války. Jako navigátor B-24 byl při náletu sestřelen a zajat, dva roky strávil jako válečný zajatec v Německu. Za svou statečnost byl vyznamenán Distinguished Flying Cross a The Purple Heart.
Jeho manželkami byly Iris Braun a Reba Gillespie. Měl jedno dítě.