Percy Heath creció en Filadelfia en el seno de una familia de músicos y, tras estudiar violín en la escuela, se matriculó en la Granoff School of Music. Debutó en la música en Nueva York con su hermano el saxofonista Jimmy, en la banda del trompetista Howard McGhee, a finales de la década de 1940. Durante varios años acompañó regularmente a músicos de jazz de la generación Be bop, entre ellos los trompetistas Miles Davis, Dizzy Gillespie, Fats Navarro y Clifford Brown, el trombonista Jay Jay Johnson, el saxofonista alto Charlie Parker y los pianistas Thelonious Monk y Horace Silver. En 1951, sustituyó al bajista Ray Brown en el grupo del vibrafonista Milt Jackson, que al año siguiente se convirtió en el Modern Jazz Quartet definitivo. La disolución temporal del MJQ en 1974 le dio la oportunidad de formar un cuarteto con sus hermanos Jimmy y Albert, acompañados por el pianista Stanley Cowell. En 1975, Percy Heath acompañó a la cantante Sarah Vaughan y retomó su puesto de bajista cuando se reconstituyó el MJQ en 1981. Con el paso de los años, ha quedado claro que la forma de tocar de Percy Heath, fina, fluida y precisa, le ha convertido en un miembro indispensable de este legendario grupo.