Joseph "Joe" Grifasi se narodil 14.června 1944 v New Yorku. Jeho matka Patricia byla ženou v domácnosti zatímco jeho otec Joseph J. Grifasi pracoval jako dělník na stavbách. Již od malička Joe prokazoval známky hereckého talentu, vymýšlel si vlastní scénky, které pak předváděl před svými příbuznými a každý potlesk byl pro něj odměnou.
Joe Grifasi získával a získává většinou vedlejší role, ve velkých filmech. I tak svou malou roli dokáže povznést na takovou úroveň, že je nezapomenutelná. V poslední době se více věnuje divadelním prknům. Mezi jeho nejlepší přátele patří herečka Meryl Streep, nebo herec Jack Nicholson. Všichni tři si společně zahráli ve filmu Jako nepoddajný plevel.