Speer entrou para o Partido Nazista em 1931. Com grande talento na arquitetura, rapidamente se tornou uma das pessoas mais próximas de Hitler. O ditador designou Speer para a construção de diversas obras, incluindo a Chancelaria do Reich. Speer também fez planos para a reconstrução de Berlim, com grandes edifícios, amplas alamedas e renovação do sistema de transporte.

Como Ministro do Armamento, Speer foi responsável pela grande produtividade da Alemanha neste setor nos anos finais da Segunda Guerra Mundial. Em 1946, ele foi julgado em Nuremberg e sentenciado a 20 anos de prisão por sua participação no regime nazista, principalmente pelo uso de trabalho escravo nos campos de concentração. Ele serviu a maior parte de sua sentença na prisão de Spandau na Berlim Ocidental.