O edifício está localizado no que foi a Fortaleza Real de Don Juan Baltazar da Áustria, construída pelo governador Fernando Ortiz de Zárate em 1594, às margens do Rio da Prata. Serviu como sede para os governadores, em seguida, para os vice-reis do Vice-reinado do Rio de la Plata e depois os governos independentes desde 1810. A velha fortaleza foi demolida na década de 1850 para construir o edifício da Alfândega Nova. Sob a presidência de Domingo Faustino Sarmiento, o edifício foi pintado de rosa, que mantém até hoje. Há uma lenda que diz que a cor rosada é uma junção de vermelho e branco, cores-símbolo de dois partidos políticos.

Em 1937, o presidente Agustín Pedro Justo decidiu que o edifício seria completamente demolido para criar uma perspectiva a partir da Praça de Maio para o rio, e estender a Avenida de Maio até Puerto Madero. No início de 1938, começou a demolição do lado sul, em 17 metros. Mas em fevereiro do mesmo ano, tornou-se presidente Roberto Marcelino Ortiz, que decidiu interromper a demolição. No entanto, a ala sul nunca foi reconstruída.