Jack Sheldon fue trompetista y cantante de jazz. Tras mudarse a Los Ángeles en 1947, se alistó en las Fuerzas Aéreas y tocó en bandas militares. Tras abandonar las Fuerzas Aéreas, tocó con muchos de los principales artistas de jazz de la Costa Oeste, como Benny Goodman, Art Pepper, Wardell Gray, Herb Geller, Jimmy Guiffre y Stan Kenton. También trabajó con Frank Sinatra.
Sheldon se hizo famoso por sus monólogos humorísticos entre canciones y fue uno de los grandes personajes del jazz. Su primer álbum en solitario fue "Jack Sheldon Quintet" en 1955. En la década de 1960 se pasó a la televisión, donde actuó como director de orquesta en "The Merv Griffin Show" durante 18 años y protagonizó la serie "Run Buddy Run". Siguió actuando en directo con artistas de la talla de Bill Berry y Benny Goodman.
Se dio a conocer a una generación de escolares estadounidenses por la serie "Schoolhouse Rocks", en la que cantaba los temas "Conjunction Junction" y "I'm Just a Bill". También tocó en el tema de televisión de "The Munsters" y en las bandas sonoras de muchas películas, como en las canciones de Tom Waits para "One from the Heart" (1981), de Francis Coppola.
Grabó más de 20 álbumes en solitario, entre ellos "Stand By for Jack Sheldon", publicado en 1983. También se parodió a sí mismo con apariciones como invitado en 'Los Simpson' y 'Padre de familia'.
Sheldon falleció en diciembre de 2019 a los 88 años.