Narodil sa ako Jesus Christ Allin 29. augusta 1956. Otec mu dal toto meno, pretože veril, že jeho syn dokáže niečo výnimočné. Matka mu ho neskôr zmenila na Kevin Michael Allin. Prezývku GG získal vďaka bratovi Merlovi, ktorý nevedel vysloviť jeho meno a hovoril mu proste GG.
Jeho veľkými idolmi boli Rolling Stones a Alice Cooper, a netrvalo dlho, kým s Merlom založili kapelu Murder Junkies, kde chvíľu pôsobil aj člen skupiny The Ramones, Dee Dee Ramone. Niekedy v tej dobe mu Merle prvý raz ponúkol drogy. Murder Junkies mali texty plné nenávisti, rasizmu, dotýkali sa tiež pedofílie a politiky. Spočiatku hrali klasický rock'n'roll, neskôr to malo bližšie k punk rocku až k hardcoru. Nezameniteľný bol tiež imidž kapely – GG ako spevák vystupoval často nahý, po tele mal množstvo podomácky vyrobených tetovaní, Merle na gitare s typickými hitlerovskými fúzami, bubeník Dino takisto takmer výlučne nahý. Ozajstnou značkou GG Allina sa však stali jeho pódiové show.
Na koncertoch sa GG mlátil mikrofónom do hlavy (raz si takto vyrazil šesť predných zubov), strkal fľašu do zadnice, napádal divákov, obnažoval sa, vyprázdňoval sa a pojedal vlastné výkaly, ktoré často hádzal do davu či predvádzal sebapoškodzovanie. Kvôli týmto šialeným prejavom sa spoločnosť rozdelila na dva tábory. Tí, čo GG-ho nenávideli a tí, čo ho milovali. Sám Dino o ňom povedal, že „je ako Ježiš, Boh a diabol v jednej osobe“. GG hovorieval, že chce prelomiť všetky bariéry, jeho hudba nemala pobaviť, ale ničiť, kašľal na autority a políciu, nenávidel všetkých.
GG veľmi obdivoval amerického sériového vraha Johna Wayne Gacyho, s ktorým sa dokonca spriatelil a chodieval ho navštevovať do väznice, kde sa dlhé hodiny zhovárali len medzi štyrmi očami. Gacy si ho obľúbil a tvrdil: „GG je najbláznivejší a najvzrušujúcejší človek, akého som spoznal.“