O edifício, onde mora o museu público mais antigo do país, conta histórias; é História, com mais de dois séculos. Referimo-nos não só à arquitectura, que lhe deu classificação de imóvel de interesse público, mas também aos seus habitantes, que conseguiram dar razão à «pedra».

É construído, a partir de 1795, para habitação e fábrica dos Moraes e Castro - família de prósperos negócios, proprietária da Fábrica de Tirador de Ouro e Prata na Rua dos Carrancas. Insere-se em pleno período urbanístico de Francisco Almada e Mendonça e - do ponto de vista histórico-artístico - no movimento neoclássico que entretanto surgira no Porto. O seu risco é, tradicionalmente, atribuído a Joaquim da Costa Lima Sampaio - arquitecto da Cidade -, que participou em obras como a Feitoria Inglesa e o Hospital de Santo António, da autoria de John of Carr de York.

A decoração, relatam as descrições da época, é objecto de especial cuidado: as paredes dos salões cobertas por majestosas alegorias e paisagens a fresco, realizadas por pintores vindos de Itália. Entre os vários artistas, destaca-se Luís Chiari, que nos estuques da sala de jantar e no mobiliário da sala da música utiliza a delicada gramática decorativa, inspirada em Robert Adam.

Elegante e imponente, o Palácio dos Carrancas é escolhido, nem sempre com o acordo dos seus proprietários, para hospedar personagens ilustres: é residência oficial do general Soult, em 1809, em plenas Invasões Francesas. Serve de quartel-general ao duque de Wellington, após a fuga das tropas napoleónicas. O general Beresford, o princípe Guilherme de Nassau, entre tantas outras personalidades ligadas ao exército libertador, alojam-se no palácio. Durante o cerco do Porto serve, também, de quartel-general a D. Pedro IV que, com receio que a artilharia miguelista atingisse o edifício, se instalou apenas durante quatro meses.

Em 1861, o Palácio é transformado em Paço Real, adquirido por D.Pedro V para servir de alojamento aos soberanos em visita ao norte do país. Embora necessitado de obras de reparação e melhoramentos, o edifício não sofre alterações significativas, exceptuando a extinção das instalações da fábrica. Em visitas mais ou menos demoradas, por lá passam D. Luís e D.Maria Pia, D. Carlos e D.Amélia, assim como D. Manuel II. Exceptuando as visitas soberanas, o palácio encontrava-se praticamente vazio; situação que se agrava com a implantação da República e o exílio do monarca. No testamento datado de 1915,conhecido apenas após a sua morte - em 1932-, D. Manuel II determina a entrega do Palácio à Misericórdia, para que nele se instalasse um hospital.

Vasco Valente, director do Museu Nacional Soares dos Reis (instalado, desde 1833, em péssimas condições, no edifício de Santo António da Cidade, em S. Lázaro), inicia negociações com o Estado e a Misericórdia para transferir o Museu para o Palácio devoluto. À luz da museologia da época, o edifício adequava-se na perfeição à função de museu: qualidade arquitectónica, estilo neoclássico e tradição histórica. Sob a orientação do Engº Fernandes Sá, iniciam-se as obras de adaptação, a cargo da Direcção Geral dos Edifícios e Monumentos Nacionais, sendo o Museu inaugurado em 1942. À época, as alterações mais notáveis consistiram na transformação das oficinas da antiga fábrica em galerias com iluminação zenital, destinada à pintura, assim como, a criação de uma galeria de  escultura, para alojar a obra de Soares dos Reis.

Com excepção de algumas intervenções de pormenor, o Museu é apenas alvo de transformação maior a partir de 1992: projecto de remodelação e expansão da autoria do arquitecto Fernando Távora. Decorrendo a um ritmo lento, o projecto é concretizado em Julho de 2001, dentro da realização do Porto, Capital Europeia da Cultura. A remodelação permite renovar o discurso expositivo da pintura e da escultura portuguesa dos séculos XIX-XX e, também, das artes decorativas que, pela primeira vez, se apresentam na mesma unidade espacial. Em diálogo com as zonas verdes, são criados novos espaços, tais como um auditório, um departamento educativo e salas de exposições temporárias, sendo o Museu dotado de uma actividade regular de animação cultural. As necessidades contemporâneas são satisfeitas, através da criação de novas zonas de acolhimento, cafetaria, loja, acessos ao nível do rés-do-chão e infra-estruturas indispensáveis ao funcionamento interno.
Em suma, assiste-se ao renascimento do Museu.