Vlastním jménem Joseph François Simon, pocházel ze Švýcarska, jeho otec byl řezníkem, jako dítě odešel s rodiči do Paříže, kde studoval, jeho zálibou byla především četba knih. Kromě toho profesionálně boxoval, touha prorazit ve světě umění jej přivedla ke střídání různých profesí, byl akrobatem, tanečníkem a fotografem. Jako voják se zúčastnil první světové války, v jejím průběhu začal pracovat na kariéře divadelního herce. Své první role odehrál v Ženevě, poté odešel znovu do Paříže, kde vystřídal divadelní angažmá v Palais-Royal, Théâtre des Arts, ve třicátých letech pak hrál v divadlech Gymnase a Madeleine.
Ve čtyřicátých letech filmových titulů ubylo, v první řadě z důvodu války, ale po jejím konci Simon znovu začal točit více. Mezi režiséry, v jejichž filmech hrál, se objevují později slavná jména jako René Clair, Julien Duvivier a další. Michel Simon natočil i několik dokumentárních a krátkých filmů. Také v 50. a 60. letech hrál v řadě filmů, ze zdravotních důvodů a dočasné ztráty paměti se ale začal stahovat do soukromí, až nakonec zmizel z veřejnosti úplně. Pak ale přišel neuvěřitelný a zásadní zlom. V roce 1967 se Michel Simon ve věku 72 let vrátil na divadelní prkna. V Théâtre Gramont hrál ve hře Vítr ve větvích sasafrasu; uznání slavnému herci bojujícímu se stářím a chorobami se projevilo několikaminutovým potleskem po pouhém Simonově příchodu na jeviště. Začínající režisér Claude Berri pak Simonovi nabídl hlavní roli ve svém filmu PÉPÉ A CLAUDE (Le vieil homme et l'enfant, 1967); tento jímavý snímek z druhé světové války ohromil celou Evropu Simonovým hereckým mistrovstvím, s úspěchem byl uveden na festivalu v Berlíně. Do jisté míry tento film zachránil Michela Simona před úplným zapomněním, a to i přes jeho významný vklad francouzskému filmu ve 30. a 40. letech. Poté hrál ještě v několika filmech, naposledy se objevil v komedii L'IBIS ROUGE (1975). Celkový počet jeho filmových rolí není přesně znám, především v důsledku ztracených snímků a nepřesné dokumenace z doby němého filmu, ale hrál minimálně ve 150 filmech.
Michel Simon zemřel ve věku 80 let 30. května 1975 ve Francii, ale podle svého přání byl pohřben v rodné Ženevě. Jeho synem byl divadelní a filmový herec François Simon (1917-1982).