Formada en Brisbane en 1978, la banda australiana de indie rock The Apartments tiene a Peter Milton Walsh como único miembro constante. Originalmente un cuarteto formado por P. M. Walsh (voz, guitarra), Michael O'Connell (guitarra), Peter Whitby (bajo) y Peter Martin (batería), su nombre procede de la película de Billy Wilder The Apartment (1960). Ex miembro de The Go-Betweens, Peter Milton Walsh y su nueva banda publicaron el EP The Return of the Hypnotist en el sello Able en mayo de 1979, antes de formar Out of Nowhere con otros tres músicos en 1981. Tras una temporada en Nueva York, donde se unió a The Colors durante unos meses, el líder regresó a Australia y reformó The Apartments con otros cuatro músicos, con los que grabó el álbum de debut The Evening Visits..., ahora de culto . And Stays for Years, publicado por Rough Trade en 1985. La banda, afincada en Londres, publicó el sencillo "All You Wanted", que alcanzó el nº 29 en las listas independientes del Reino Unido en 1986. De vuelta a Australia tres años más tarde, Peter Milton Walsh volvió a formar The Apartments para grabar el álbum Drift (1993), que se publicó con gran éxito en Francia en el sello New Rose. Le siguieron otros álbumes, como A Life Full of Farewells (1995), el acústico Fête Foraine (1996) y Apart (1997). Peter Milton Walsh dedicó entonces su tiempo a su hijo, que luchaba contra una enfermedad y falleció en 1999. Se retiró de la escena musical durante varios años antes de reformar The Apartments en 2007 para una serie de conciertos. Tras una gira francesa titulada It's Not Our World Anymore en 2012, la banda grabó No Song, No Spell, No Madrigal, que salió a la venta en abril de 2015, un mes después de la reedición del primer álbum. Otras giras tuvieron lugar en Europa y Australia, antes del lanzamiento de Live at l'Ubu (2019), grabado en Rennes, Francia. En 2020, el sello Talitres publicó el nuevo álbum In and Out of the Light, seguido cinco años después por That's What the Music Is For.