La banda de indie pop Tally Hall se formó en Ann Abor, Michigan, en 2002, cuando los estudiantes de la Universidad de Michigan Rob Canter (voz y guitarra), Steve Gallagher (batería), Joe Hawley (voz y guitarra), Andrew Horowitz (voz y teclados) y Zubin Sedghi (voz y bajo), descubrieron una afición compartida por el pop estrafalario. Tomando su nombre de un centro comercial local, el grupo perfeccionó sus habilidades en el área de Detroit. Publicaron un par de EP antes de que Gallagher fuera sustituido por Ross Federman en 2004. Firmaron con el sello independiente Quack!Media para publicar su primer LP, Marvin's Marvelous Mechanical Museum, de 2005, que incluía canciones que pronto se convertirían en favoritas de los fans, como "Hidden In the Sand", "Good Day" y "Welcome to Tally Hall". El simpático encanto del quinteto les valió ser los compositores de todas las canciones de la breve serie de animación de Disney Happy Monster Band en 2007. Tras fichar por la gran discográfica Atlantic, remezclaron y volvieron a grabar partes de ese álbum y lo reeditaron. En 2008 y 2009 publicaron una serie de vídeos musicales en su página web. Volvieron a Quack!Media para Good & Evil, de 2011, pero la banda se disolvió poco después de su publicación. Aunque todos los miembros han seguido carreras como artistas en solitario y escritores, el sitio web de la banda puso a disposición la colección Admittedly Incomplete Demos en 2015, y en 2019 sacaron un single de esa colección, una versión de "Just a Friend" de Biz Markie .
