Nació en Forest, Mississippi, el 24 de agosto de 1905.
Cantante inconfundiblemente rural, con una voz moldeada por los gritos del campo de su infancia y un guitarrista limitado pero muy rítmico, Crudup empezó a grabar en 1941 una serie de composiciones llenas de color que tuvieron un gran éxito entre los sureños negros ("Mean Ol'Frisco", "Death Valley Blues", "Rock Me Mama", "If I Get Lucky").
Pero fueron las versiones de algunas de sus canciones ("That's All Right Mama", "My Baby Left Me") realizadas por uno de sus jóvenes admiradores, Elvis Presley, las que le valieron la fama y el apodo de "padre del rock'n'roll" Pasado de moda entre los negros, Crudup luchó en vano por obtener los enormes derechos de autor que le debían los blancos.
Murió en la pobreza en Nassawadox, Virginia, el 28 de marzo de 1974.