Anthony Kaczynski cofundó Figures On A Beach en 1981 como vocalista y teclista; el grupo se formó a partir de los restos del primer grupo electrónico Razor 1922 y añadió al guitarrista John "Rik" Rolski, al teclista Christopher Ewen, al batería Michael Smith y, más tarde, al bajista y guitarrista Perry Tell. Su primer lanzamiento independiente, el EP Swimming (1983), seguido del sencillo Breathless (1984) y el sencillo Paradise / In Camera Obscura (1985), estableció un seguimiento local y dio lugar a la compilación Paradise and Other Four-Letter Words (1986). Tras trasladarse a Boston en 1985, el grupo firmó un contrato con Sire Records y publicó el álbum debut Standing on Ceremony (1987) y el autotitulado Figures On A Beach (1989); este último incluía la versión de "You Ain't Seen Nothing Yet" de Bachman-Turner Overdrive, que alcanzó el número 67 en la lista Billboard Hot 100, y el single "Accidentally 4th Street (Gloria)", que llegó al número 14 en la lista Billboard Modern Rock Tracks. El grupo se disolvió a finales de 1992 tras la marcha de John "Rik" Rolski, y Anthony Kaczynski se dedicó más tarde a proyectos como Fireking, Future Bible Heroes y The Magnetic Fields, mientras que Michael Smith formó Smitt E. Smitty & the Fezztones; el legado de la banda sigue siendo evidente en la continua influencia de su synth-pop de los años ochenta.