Richardson serviu como Secretário da Saúde, Educação e Bem-estar Social de 1970 a 1973,
Secretário de Defesa de janeiro a maio de 1973, Procurador-geral de maio a outubro de 1973, e Secretário do Comércio de 1976 a 1977. Ele é um de apenas duas pessoas que ocuparam quatro cargos de gabinete diferentes na história do governo dos
Estados Unidos, o outro é
George P. Shultz.