Joy Zipper fue formado en 1999 por Tabitha Tindale y Vincent Cafiso en Long Island, Nueva York. El primer lanzamiento del dúo, el autotitulado Joy Zipper, apareció en EyeQ Records y más tarde fue publicado en Estados Unidos por Bar/None Records, estableciendo su presencia en la escena indie pop. En 2002, el grupo publicó American Whip, producido y mezclado por Kevin Shields y David Holmes, y distribuido posteriormente por Vertigo/Mercury Records en el Reino Unido y Dangerbird Records en Estados Unidos; el álbum incluía el tema "Baby You Should Know", que obtuvo repercusión en la serie de televisión The O.C.. Al año siguiente, The Heartlight Set se publicó en el Reino Unido, y el single "1 " se lanzó en 2005, recibiendo difusión en anuncios de televisión y en la serie One Tree Hill. El trabajo de Joy Zipper ha aparecido en diversos medios de comunicación, como en las campañas de Grey's Anatomy y Nike, y el grupo ha contribuido con versiones en álbumes tributo a The Pixies y The Cure. El dúo siguió realizando giras internacionales como teloneros de artistas como Air y Franz Ferdinand, y mantuvo su presencia en el circuito del pop indie hasta principios de la década de 2010, sin publicar más álbumes de estudio después de 2005.
