Philip se narodil 26. Září 1930 v Jersey City, New Jersey. Jeho matka pracovala jako policistka a otec byl pracovníkem u karnevalu. Philip má po rodičích italskou a německou krev. Střední školu studoval v St. Peter Preparatory School v Jersey City. Následně nastoupil na Katolickou univerzitu ve Washingtonu D.C. Po škole se oženil s Nancy Ann Dunklenovou a zplodil s ní celkem sedm dětí.
V televizi můžeme Philipa vidět v seriálu Zákon a pořádek: útvar pro zvláštní oběti, kde hraji roli soudce. Mezi jeho nejvýznamnější filmové počiny patří Záměna z roku 1983, která pojednává o záměně osudů dvou lidí, kteří jsou z úplně jiného okraje společnosti. V roce 1986 hrál v oscarově oceněném filmu Bohem zapomenuté děti, který pojednává o učiteli ve škole pro neslyšící. Dalším větším filmem, kde se Philip objevil, byl film z roku 1988 Jiná žena, režírovaný W. Allenem. Posledním Philipovým filmem, ve kterém jsme ho mohli vidět, byl film Divoši z roku 2007. Zde hraje starého otce dnes již zesnulého P. S. Hoffmana a Laury Linneyové.
Ve své více jak padesátileté kariéře natočil mnoho filmů a seriálů (menší a vedlejší role), ale jeho život, jak sám říká je spíše na divadelních prknech, kde je uznávaným a respektovaným hercem, jak u kritiků a kolegů, ale také především u diváků. Philip nyní žije klidnější život v Haworthu (New Jersey) se svou rodinou.