Peter Stampfel, banjista y violinista nacido en Wisconsin, creció con gusto por el country antiguo y la música folk tradicional y, tras conocer al guitarrista de country-rock Steve Weber, nacido en Pensilvania, en Nueva York a principios de los años sesenta, actuaron bajo varios nombres antes de decidirse por Holy Modal Rounders. El grupo se ganó un culto por su mezcla de folk, country, rock y psicodelia, y grabó varios álbumes hasta 1978.
Considerados como una extraña adición a la moda folk de los años 60, el dúo se unió a otros artistas para tocar en diferentes bandas, como The Village Fugs y The Moray Eels, e invitó a otros músicos a unirse a la formación de Holy Modal Rounders, como el teclista Lee Crabtree y el batería Sam Shepard.
Su primer álbum "The Holy Modal Rounders" se publicó en 1964, seguido de "The Holy Modal Rounders 2" en 1965. Ese año, Stampfel y Weber se unieron a dos poetas de Greenwich Village, Ed Sanders y Tuli Kupferberg, y al batería Ken Weaver en los Village Fugs. Publicaron un álbum titulado "The Village Fugs Sing Ballads of Contemporary Protest, Point of Views, and General Dissatisfaction" (Los Village Fugs cantan baladas de protesta contemporánea, puntos de vista e insatisfacción general), conocido por sus letras cómicas y escandalosas. Otros álbumes de los Fugs llevaban el aviso de la industria discográfica "Sólo para adultos".
El álbum de 1967 "Indian War Hoop" supuso el regreso de Stampfel y Weber como los Holy Modal Rounders, a los que se unieron el teclista Richard Tyler, John Wesley Annis al bajo y el batería Shepard, que había tocado en otra banda de Stampfel, los Moray Eels. Se quedaron para el cuarto álbum de los Rounders, "The Moral Eels Eat the Holy Modal Rounders" (1968) pero, aparte de Annis, se habían ido para cuando salió "Good Taste Is Timeless" en 1971.
La banda permaneció en silencio durante 20 años tras la publicación en 1978 de "Last Round", durante los cuales Stampfel grabó con otro grupo, los Bottlecaps. Se volvieron a unir en 1999 con "Too Much Fun!", pero los siguientes álbumes fueron un recopilatorio, "I Make a Wish for a Potato" en 2001, "Live in 1965" en 2002 y "Bird Song - Live 1971" en 2004. En 2007 salió a la venta una producción en DVD, "The Holy Modal Rounders - Bound to Lose", con imágenes antiguas de actuaciones en directo y trabajos de estudio, con invitados como Dennis Hopper, John Sebastian, Loudon Wainwright III y Peter Tork.
