Zinovij Gerdt, rodným jménem Zalman Chrapinovič, se narodil do chudé židovské rodiny jako čtvrté dítě, jeho rodným jazykem byl jidiš. V roce 1932 se přestěhoval k bratrovi do Moskvy, zde se vyučil elektromontérem a ve stejné době začal také hrát (v Divadle pracující mládeže). Už v r. 1935 získal první profesionální angažmá. Tehdy ještě pod svým rodným jménem, ale postupně vystupoval čím dál častěji pod uměleckým pseudonymem Gerdt (nicméně jméno si oficiálně nezměnil dříve než v r. 1963; pseudonym si zvolil podle příjmení populární baleriny z 20. let E. P. Gerdtové).
Po demobilizaci se vrátil k herectví, mezi lety 1945 a 1982 byl členem moskevského Ústředního divadla loutek. Jako konferenciér loutkových představení absolvoval (a to i na zahraničních turné) pět a půl tisíc představení vždy v řeči jejich publika – celkově ve dvaceti čtyřech různých světových jazycích. Angažmá musel nakonec změnit kvůli konfliktům s ředitelem.
Na filmovém plátně sehrál mnoho nezapomenutelných vedlejších, ve velké míře komediálních rolí, svých prvních hlavních se dočkal až ve věku 50 let ve filmech Fokusnik a Zlaté tele. Jako majitel krásně zabarveného hlasu byl obsazován v dabingu.
Byl dvakrát ženatý, přijal za vlastní dceru své druhé manželky.