Palác byl postaven na spáleništi čtyř domů r. 1563, podle projektu Agostina Vlacha a je to jedna z nejkrásnějších ukázek renesanční architektury v Praze.

Schwarzenberský palác je památkou na dobu, kdy byl celý Hrad přioděn do sgrafitového šatu. Palác je renesanční baštou, která byla postavena pro nejvyššího pražského purkrabí – Jana z Lobkowicz. Palác stál na Hradčanském náměstí ještě dříve, než Rudolf II. povýšil Hradčany na královské město. Hladké masívní stěny jsou jednoduše sgrafitované, palác má lunetovou severoitalskou římsu a sdružená renesanční okna i renesanční štíty, které orientují každé křídlo paláce na jinou světovou stranu.

Uvnitř paláce jsou zachovány v sálech 2. patra malované tabulové stropy. Palác získal r. 1600 Petr Vok z Rožmberka. Od roku 1719 vlastnili palác Schwarzenberkové. Sgrafita byla rekonstruována v letech 1871 – 1893 J. Schulzem, nově v letech 1955- 1957.

Do r. 1889 zde bylo Vojenské muzeum, nyní po důkladné rekonstrukci, patří palác Národní galerii, jsou zde sbirky barokního umění.