Tento rodák z Brooklynu přičichl k filmovému střihu již v době, kdy studoval irskou literaturu na Newyorské univerzitě na Manhattanu. Ten ale postupem času vyměnil za režii a v roce 1957 se připojil k tvůrčímu týmu stojícímu za televizní sérií Decoy. Ve své době se jednalo o první kriminální seriál na americké televizi, jehož hlavním hrdinou je žena.
Jenže po mnoha a mnoha seriálech a několika televizních filmech přišla v druhé polovině šedesátých let konečně nabídka od velkého filmového studia. Rosenbergův debut na stříbrném plátně, Frajer Luke (Cool Hand Luke - 1967), s Paulem Newmanem v hlavní roli sympatického trestance s nezlomným duchem překonal všechna očekávání, stal se hitem, získal 4 oscarové nominace ( jedinou sošku si nakonec odnesl George Kennedy za vedlejší roli) a dodnes se v diváckých anketách řadí mezi nejlepší filmy všech dob.
Rosenberg dále spolupracoval s Paulem Newmanem, se kterým natočil ještě tři filmy (Stanice WUSA, Kapesné, Návrat Lew Harpera), ale úspěch Frajera Luka už zopakovat nedokázal. Po řadě průměrných a nijak zvlášť výdělečných filmů (Pouť zatracených, Výstřely pro lásku, Horor v Amityville) se režisér v roce 1980 opět s úspěchem vrátil na půdu vězeňského dramatu. Ve filmu Brubaker bojuje čertvě jmenovaný ředitel věznice v podání Roberta Redforda proti korupci ve vězeňském systému. Jednalo se o poslední výraznější Rosenbergův zápis do filmových dějin.
Od roku 1993 učil Rosenberg na Americkém filmovém institutu. Mezi jeho žáky patřili například Darren Aronofsky, Todd Field, Mark Waters, Scott Silver, Doug Ellin nebo Rob Schmidt. 15.03.2007 Rosenberg umírá na infarkt ve svém domě v Beverly Hills v Californii ve věku nedožitých osmdesáti let.