Mark Margolis se narodil roku 1939 ve Filadelfii. Po krátkém studiu na tamní univerzitě ale odešel do New Yorku, kde se učil hereckému umění pod vedením takových kapacit jako Stella Adlerová nebo Elia Kazan. Ve filmu se poprvé objevil v roce 1976.
Mimo plátna kin se Mark objevil i v několika úspěšných televizních seriálech, jako CALIFORNICATION, PERNÍKOVÝ TÁTA, nebo MILDRED PIERCEOVÁ.