Tras recibir clases de piano, Pierre Michelot, que ya estaba fascinado por la música negra americana, se dedicó por completo al contrabajo en la década de 1940. Sus primeras actuaciones en directo datan de mediados de los años 40, época en la que actuó con Ralph Schecroun y Jean-Claude Forenbach, entre otros. Su reputación en el circuito de jazz pronto le convirtió en uno de los acompañantes más solicitados de la escena francesa, sobre todo para visitantes estadounidenses y europeos. Así comienza una serie de encuentros históricos en los que Pierre Michelot toca con Sidney Bechet, Thelonious Monk, Bud Powell, Coleman Hawkins, Lester Young, John Lewis, Clifford Brown, Martial Solal, Stan Getz y Miles Davis, a quien acompaña por primera vez en Pleyel en 1949 en el marco del Festival de París. Más tarde, en 1957, grabó con Miles Davis la banda sonora de la película de Louis Malle Ascenseur pour l'échafaud. Músico para todas las ocasiones, tanto en estudio como en el escenario de clubes y festivales, se convirtió en uno de los contrabajistas más populares y solicitados de Francia. Músico sin fronteras, también colaboró en las últimas obras del guitarrista Django Reinhardt, así como en los homenajes a J.S. Bach arreglados por Jacques Loussier con el batería Christian Garros. Su excepcional relación con el baterista Kenny Clarke no terminó con la singular sección rítmica que se podía escuchar en los clubes parisinos más prestigiosos de los años 50 y 60. Pierre Michelot también escribió arreglos para él y Chet Baker, y asumió la dirección de una importante orquesta a principios de los años 60. En los años 80, Bertrand Tavernier le pidió que interpretara el papel de actor-contrabajista en su homenaje cinematográfico al jazz: Alrededor de medianoche. Después, todavía en activo y muy apreciado tanto por el público como por los músicos, apareció en nuevas grabaciones y giras con Hank Jones, Christian Escoudé, Kenny Washington, Toots Thielemans y su compañero de siempre Maurice Vander. Figura clave del mundo del jazz desde hace más de 50 años, se reunió con Daniel Humair y René Urtreger en los albores del año 2000 para grabar un nuevo álbum.