Três fases distintas de construção podem ser identificadas. Durante a
República, havia dois prédios menores situados em um eixo distinto, alinhado com os pontos cardeais. Um palácio maior foi construído depois do
grande incêndio de 64, que forneceu as bases para o palácio que cujas ruínas permanecem visíveis atualmente. Este foi construído por
Domiciano e depois
Trajano , e restaurado por
Septímio Severo , após o incêndio de 191 Este palácio está alinhado no eixo nordeste-sudeste, alinhando-se ao Fórum. Foi ocupado pelas Vestais até a proibição decretada por
Teodósio I dos cultos pagãos em Roma, após o que serviu como residência administrativa imperial e depois foi abandonado.
A Casa das Vestais era um palácio de três andares e 50 cômodos construído em volta de um elegante
átrio alongado, com três espelhos d'água. Ao longo do
pórtico estavam dispostas as estátuas das vestais que presidiam o grupo das seis sacerdotisas (
virgo vestalis maxima); algumas delas ainda se encontram no local e outras se encontram no
Museu Nacional Romano (
Palácio Massimo das Termas). Do lado leste ficava um tablino (
tablinum) com seis câmaras correspondentes a cada uma das vestais, e onde se acredita que havia um santuário a
Numa Pompílio , mítico
rei romano fundador do colégio sacerdotal das Vestais.