Mercedes J. Ruehl se narodila 28. února 1948 v New Yorku, vyrůstala však na předměstí Silver Spring v Marylandu. Pro své studium si zvolila anglickou literaturu, kterou posléze vystudovala na College of New Rochelle. Léta pak působila na různých regionálních scénách a nejčastěji byla obsazována v klasickém repertoáru.
Na Brodwayi debutovala ve hře Herba Gardnera Nejsem Rappaport. Postavu výstřední tety Betty vytvořila v komediálním snímku ZTRACENI NAVŽDY (1993). Za tuto původní divadelní hru Neila Simona, ve které účinkovala taktéž, obdržela roku 1991 cenu Tony. Jako host vystoupila v televizním pořadu „THE COSBY SHOW“ a v seriálu „OUR FAMILY HONOR“.
Ve filmu se objevovala v menších rolích od konce 70. let. Větší uplatnění před kamerou na ni čekalo zhruba o deset let později. Roku 1988 se objevuje v krimi komedii MANŽELSTVÍ S MAFIÍ, kde působivě zahrála postavu manželky mafiánského kmotra, který se zamiluje do vdovy (Michelle Pfeiffer) svého zastřeleného podřízeného. Tato její kreace byla odměněna cenou Amerických filmových kritiků.
Největšího úspěchu a slávy ve své kariéře se dočkala v roce 1991 díky filmu KRÁL RYBÁŘ. Stala se totiž laureátkou Oscara a Zlatého Glóbu v kategorii nejlepší herečka ve vedlejší roli. Tento nevídaný úspěch jí přinesla postava života a elánu plné majitelky videopůjčovny Anne Napolitanové, jejímuž zkrachovalému a cynickému milenci (Jeff Bridges) otevře nové duchovní obzory bláznivý bezdomovec (Robin Williams).