Influenciados en gran medida por bandas de rock británicas de los años sesenta como The Rolling Stones, The Animals y The Yardbirds, The Shadows of Knight comenzaron su andadura en un suburbio de Chicago. Conocida por su rock agresivo de estilo garajero, la banda ha contado con muchos músicos a lo largo de los años, siendo su fundador y vocalista Jimy Sohns el único superviviente.
Tras tocar localmente por Illinois, el grupo consiguió un contrato de grabación y debutó con "Gloria" en 1966. El tema que daba título a la banda, Them, con Van Morrison, se convirtió en un gran éxito y el álbum que le siguió obtuvo buenos resultados. Siguieron más singles, pero la formación original abandonó el grupo en 1967, dejando a Sohns a cargo de los cambios durante las décadas siguientes, con éxito variable.
Dos álbumes más, "Back Door Men" y "Shadows of Knight", se publicaron en 1966 y 1969, tras lo cual el grupo permaneció en silencio hasta que en 1992 publicó un disco en directo, "Raw n' Alive at the Cellar, Chicago 1966".
En 2006, tras otro periodo de silencio, The Shadows of Knight se unió a la gira "Underground Garage" de Little Steven con The Romantics. Ese mismo año publicaron un álbum con material nuevo titulado "A Knight to Remember". Dos años más tarde publicaron "Rock 'n' Roll Survivors". Desde entonces, Sohns ha seguido actuando con diferentes músicos bajo el nombre de The Shadows of Knight, y en 2016 los miembros supervivientes de la formación original se reunieron para su primera actuación juntos en casi 50 años.