Clarence Williams creció en un mundo musical. Su padre, músico, decidió trasladar a la familia a Nueva Orleans. Clarence Williams practicó allí su talento como cantante antes de convertirse en pianista y escribir sus primeras composiciones. Actuó como músico, pero pronto descubrió un espíritu emprendedor que le convirtió en un "casamentero" de talentos. Empezó a publicar composiciones de algunos de los compositores e intérpretes más ilustres de la música negra estadounidense, como King Oliver, Louis Armstrong y Sidney Bechet. Llegó a ser director artístico del sello Okeh, que se estaba reclutando a principios de la década de 1920 para entrar en el nuevo mercado de la música grabada. También actuó en Okeh como cantante. Su enfoque consistía en escuchar a las orquestas negras que ocupaban el centro del escenario, formadas por músicos de gran calidad. Luego sugirió que se grabaran en pequeños grupos, esta vez para mostrar sus cualidades como solistas. En muchas de estas grabaciones tocó el ritmo con Buddy Christian y Floyd Casey. Sidney Bechet, su colega músico, se benefició de ello, ya que Clarence Williams organizó su participación en varias sesiones de grabación. Lo mismo ocurrió con Louis Armstrong, a quien llamó en varias ocasiones. El pianista también trabajó con las damas del blues, Mamie Smith, Bessie Smith (de la que fue uno de los asesores artísticos) y Ethel Waters, entre las más conocidas. Su esposa Eva, que también era cantante, se benefició de la reputación de Clarence Williams como acompañante. Otras compañías discográficas buscaron su consejo, incluidas las más prestigiosas de la época. Más tarde vendió su catálogo editorial a una empresa mayor para dirigir una tienda, siempre en Nueva York. Pero a pesar de este desapego y de haber perdido la vista en los años 50, Clarence Williams siguió siendo un compositor activo hasta el final de su vida.