A múzeum létesítését hosszú előkészítés után 1896-ban határozták el, és a millenniumi törvény mondta ki. Miután a főváros ingyen átadta a területet, 1898-ban pályázatot írtak ki az épület megtervezésére. A kilenc pályamű közül Schickedanz Albert és Herzog Fülöp Ferenc tervét választották ki megvalósításra. Az épületegyüttes 1900 és 1906 között épült, először a neoreneszánsz képtárszárny, utána a klasszicista előépület készült el. Az 1906. december 1-jei felavatáson Ferenc József császár és király is részt vett, a múzeumot december 5-én nyitották meg a nagyközönség előtt. Az újonnan átadott épületben az addig különböző gyűjteményekben őrzött képzőművészeti alkotások kaptak helyet és egységes bemutatási lehetőséget.

A II. világháború vége felé számos igen értékes műtárgyat menekítettek nyugatra, és az épület is súlyos károkat szenvedett. 1945– 47-ben sikerült a műtárgyak legnagyobb részét visszaszerezni, restaurálásuk és az épület helyreállítása után 1949-ben újra megnyílt a Régi Képtár és az Új Magyar Képtár állandó kiállítása, majd fokozatosan a többi gyűjtemény tárlata is. A magyar művészetet bemutató, egyre gazdagodó gyűjtemény szükségessé tette, hogy azt egy önálló intézményben helyezzék el. A magyar műtárgyakat az 1957-ben megalakított Magyar Nemzeti Galéria vette át, míg a Szépművészeti Múzeum 1974-től az egyetemes művészet emlékeit lett hivatott bemutatni.