Rains se narodil 10. listopadu 1889 v Londýně. Jeho otcem byl Frederick William Rains, anglický divadelní a filmový herec. Vyrůstal ve čtvrti Camberwell, mluvil přízvukem cockney a trpěl vadou řeči. Svůj divadelní debut si odbyl v 11 letech ve hře Nell of Old Drury.
Bojoval v první světové válce v Londýnském Skotském pluku, kde společně s ním sloužili i herci Basil Rathbone, Ronald Colman a Herbert Marshall. Účast ve válce zlepšila jeho společenské postavení a dosáhl hodnosti kapitána, utrpěl však zranění, kvůli kterému byl do konce života téměř slepý na jedno oko.
Svou hereckou kariéru započal v London Theatre, kde slavil úspěch v hlavní roli hry Ulysses S. Grant. Koncem 20. let přijel do Ameriky a začal hrát v divadlech na Broadwayi. K filmu se dostal docela pozdě a jeho úplně první screen test byl propadák, díky svému osobitému hlasu však nakonec získal hlavní roli ve snímku Jamese Whalea NEVIDITELNÝ MUŽ (1933). Rains označil za strůjce svého úspěchu režiséra Michaela Curtize, který mu dával rady, jak hrát ve filmu a co před kamerou nedělat.
Snímek byl úspěšný a studio Universal se snažilo Rainse obsazovat i do svých dalších hororů, on však nechtěl zůstat pouze u těchto rolí a raději si zahrál Prince Johna v dobrodružném filmu DOBRODRUŽSTVÍ ROBINA HOODA (1938) či zkorumpovaného amerického senátora v oscarovém snímku PAN SMITH PŘICHÁZÍ (1939), za kterou získal nominaci na Oscara. Jednou z jeho nejslavnějších rolí se stal kapitán Louis Renault v romantickém dramatu CASABLANCA (1942), za kterou získal svou druhou nominaci na Oscara za vedlejší roli. V roce 1943 se objevil v hlavní roli barevného remaku FANTÓM OPERY. O rok později byl opět nominován na Oscara za snímek PAN SKEFFINGTON (1944). Stal se vůbec prvním hercem, který obdržel milionový honorář, získal ho za roli Julia Caesara v britském snímku CAESAR A KLEOPATRA (1945). Svou čtvrtou a poslední oscarovou nominaci získal za Hitchcockův noirový thriller POVĚSTNÝ MUŽ (1946), ani jednu z nominací však neproměnil.