Bernhard Klemens Maria Grzimek se narodil 24. dubna 1909 v Nyse v tehdejším Slezsku. Jeho otec Paul Franz Constantin Grzimek byl místní notář. Grzimek absovoval veterinu v Lipsku v roce 1928, v roce 1933 obdržel doktorát na univerzitě v Berlíně. V roce 1930 se oženil s Hildegardou Prüferovou. Vychovávali tři syny – vlastní Rochuse, Michaela a adoptivního Thomase.
Místo toho se stal ředitelem frankfurtské ZOO. Ovšem ani v poválečném Německu to neměl Grzimek lehké. V roce 1947 byl obviněn ze spolupráce s NSDAP; trvalo to ovšem téměř tři roky, než se mu podařilo prokázat svoji nevinu, a naopak prokázat podporu německému odboji. Po tuto dobu samozřejmě ZOO nevedl, do ředitelské funkce byl znovu uveden v roce 1949. Později vyšlo najevo, že jej neprávem účelově obvinil ředitel jiné ZOO – Heinz Heck z Mnichova.
Grzimek byl – vyjma uvedené vynucené přestávky – ředitelem frankfurtské ZOO od 1.5.1945 do roku 1974, kdy odešel do penze. ZOO v podstatě pozvedl z válečných trosek; během války byla také zabita téměř všechna zvířata. Zasloužil se o přestěhování ZOO z rozbombardovaného centra na okraj města do nových rozsáhlých prostor a o doplnění zvířecího fondu.
Současně se také stal prezidentem Frankfurtské zoologické společnosti, spolku, který má za cíl vést a podporovat projekty na ochranu divoké přírody; asi nejznámějším projektem je ochrana ekosystému Serengeti v Tanzanii. V Tanzanii strávil několik let i se svým synem Michaelem; zaměřovali se zejména na pozorování migrace zvířat z ptačího pohledu. Michael bohužel zemřel v roce 1959 při havárii jejich pozorovacího letadla.