Sy Oliver empezó a aprender música a una edad muy temprana, con la ayuda de sus padres, ambos profesores en la materia. Llegó a tocar en varias bandas, siendo a menudo el más joven de los músicos, que se burlaban de él llamándole "profesor" o "Sy", contracción de "psicólogo", otro de sus apodos.