Gracias a la benevolencia de su madre pianista y organista, el joven Philly Joe Jones descubrió rápidamente las sensaciones que puede aportar la música. Aprendió a tocar la batería y, al cabo de unos años, participó en los primeros conciertos en los que conoció a los saxofonistas John Coltrane y Benny Golson, entre otros. Golson le pidió que se uniera a su banda a mediados de los años 40, y llegó a tocar con Clifford Brown, los hermanos Percy y Jimmy Heath, Fats Navarro y Dexter Gordon. Tras acompañar también a Ben Webster, se convirtió en uno de los baterías más solicitados de los años 50 para sesiones de grabación y en concierto con los solistas más dotados de su generación. Con el bajista Paul Chambers, hizo historia en el jazz como miembro del legendario primer quinteto de Miles Davis. Los dos formaron uno de los grupos rítmicos más prestigiosos de los años 50, y a Miles Davis nunca le faltaron cumplidos. Además de ser uno de los pilares musicales del grupo, Philly Joe Jones también se encargaba de la buena marcha de las giras, encargado por el trompetista de encontrar a los compañeros ideales para los conciertos en cada lugar. Permaneció cerca de Miles Davis durante varios años, al tiempo que seguía una carrera independiente. Esta libertad le dio la oportunidad de grabar para algunos de los artistas más importantes de la actualidad, como John Coltrane, Julian "cannonball" Adderley, Sonny Rollins, Johnny Griffin, Jackie McLean, Gil Evans, Wynton Kelly, Tadd Dameron, Art Farmer, Clark Terry y Abbey Lincoln. En los años 60, siguió una carrera internacional, actuando en varios festivales, una vez más con Miles Davis, y luego acompañando a Sarah Vaughan, Erroll Garner y Bill Evans. A continuación se traslada a Gran Bretaña y Francia. Durante sus años europeos, Philly Joe Jones creó varias escuelas de batería, entre ellas una en colaboración con Kenny Clarke, que también se había trasladado a Francia. Tras vivir cuatro años en París, regresó a Estados Unidos a principios de la década de 1970 y siguió actuando regularmente como líder con la orquesta Le Grand Prix y como invitado con Red Garland y Bill Evans. Sus últimos proyectos incluyeron la dirección de una gran orquesta y la colaboración en el escenario con LeRoi Jones y Archie Shepp poco antes de su muerte.
