„Víte, v Bruselu máme kostel a nahoře jsou malí andělíčci. A vypadají přesně jako Harpo Marx.“ (George Jessel)
Adolph ve škole neprožíval šťastné chvíle jako jeho bratr Julius. Ve škole byl jediným žákem s židovským původem a navíc byl na svůj věk celkem malý. Stával se tedy často obětí šikany. Jeho spolužáci ho dokonce někdy s oblibou vyhazovali z okna. V osmi letech Adolph zanechal školní docházky. Od té doby se spíše potloukal po ulicích a živil se, jak dokázal. Pracoval například jako zpěvák nebo klavírista v nevěstinci.
„Harpo byl anděl. Nikdo nebyl takový jako on a nikdy už tu nikdo jako on nebude. Byl jednoduše báječný. Nikdy neřekl nikomu nic špatného.“ (Gummo Marx)
Matka Minnie si umínila, že ze svých synů udělá hvězdy varieté. Koupila použitý klavír, ale mohla si dovolit platit lekce jen pro jednoho. Vybrala tedy Leonarda a nařídila mu, aby sám učil mladšího Adolpha. Leonard byl ale velice líný a svého bratra naučil jen dvě písničky. To ale Adolphovi stačilo k tomu, aby si našel stálé zaměstnání v kině, kde doprovázel hraním němé snímky. Své dvě skladby dokázal hrát rychle i pomalu a v několika stupnicích. Roku 1910 se matka rozhodla Adolpha zapojit do skupiny, kde už zpívali jeho bratři. Harpo na to vzpomíná nerad: „Byl to asi ten nejstrašnější debut v dějinách showbusinessu.“ Několik let bratři účinkovali pod dohledem své matky jako pěvecká skupina „Čtyři slavíci“. Adolph začal hrát na harfu („harp“), a tak tedy vznikla jeho slavná přezdívka Harpo.