El padre de Sam Jones era pianista, pero Sam estudió guitarra y tocó la batería durante sus años escolares. Se inició en el contrabajo (1945), debutó en la música y dirigió una banda de rhythm'n'blues (1947-1948). En 1949 se trasladó a Nueva York. En 1953 fue contratado como bajista por Tiny Bradshaw en Cincinnati, con quien grabó. A partir de esta época, Sam Jones se adentra en el mundo del bebop, uniéndose al grupo Jazz Modes de Julius Watkins y Charlie Rouse (1955). Después tocó con los Jazz Prophets, grupo que acababa de formar Kenny Dorham tras su paso por los Jazz Messengers. Fue con el quinteto de los hermanos Adderley (1956-1957) cuando Sam Jones empezó a hacerse un nombre. Después tocó con Dizzy Gillespie (1958-1959) y Thelonious Monk (1959). En 1960, grabó bajo su propio nombre, con contrabajo y violonchelo ("The Soul Society"). Volvió durante un tiempo al nuevo sexteto de los hermanos Adderley (1959-1966). Cuando Ray Brown abandonó el trío de Oscar Peterson, Sam Jones tomó el relevo (1966-1970). A partir de entonces, tocó sobre todo como músico independiente, acompañando a varios pianistas, entre ellos Bobby Timmons, Wynton Kelly y Duke Jordan. En 1977, dirigió sigilosamente un gran grupo con Tom Harrell. Murió de cáncer el 15 de diciembre de 1981.
