Rakennus valmistui 1924 ja sen suunnitteli arkkitehti Väinö Vähäkallio. Leipätehtaana rakennus toimi aina 1990-luvulle saakka. Vähäkallion suunnittelemia ovat myös muut kortteliin nousseet Elannon uudet rakennukset. Vähäkallion muita tunnettuja suunnittelutöitä ovat mm. Yrjönkadun uimahalli ja Helsingin oikeustalo Salmisaaressa.

Kun Kuvataideakatemian pitkäaikaiset tilat Yrjönkadulla alkoivat käydä lopullisesti liian pieniksi, ryhdyttiin akatemialle etsimään uusia tiloja. Leipätehtaan jo tuolloin tyhjänä ollut tila löydettiin vuonna 2000 ja seuraavana vuonna tehtiin ensimmäiset luonnokset tilan uusiokäytöstä. Rakennuksen saneerauksen suunnittelivat arkkitehdit (SAFA) Laura Mattila ja Pekka Ojalammi Arkkitehtitoimisto Brunow & Maunulasta.

Kuvataideakatemian muutto Taiteen taloon alkoi joulukuussa 2003 ja toiminta tiloissa pääsi käyntiin helmikuussa 2004. Viralliset avajaiset pidettiin saman vuoden syyskuussa.

Samana vuonna Taiteen talossa havaittiin kuitenkin kosteusvaurioita. Korjaustyöt eivät kuitenkaan parantaneet tilannetta ja niinpä keväällä 2006 Kuvataideakatemia muutti väistötiloihin eri puolille kaupunkia. Peruskorjausta kesti aina kevääseen 2008 saakka. Akatemian paluumuutto tapahtui alkukesästä ja Taiteen talon toiset avajaiset pidettiin 23.9.2008.