Mikoyan filiou-se ao Partido Bolchevista e lutou em Baku contra as forças antibolvechistas durante os anos 1900 do século passado, anteriores à Revolução Russa. Ele apoiou Stalin quando a morte de Vladimir Lenin criou um vácuo de poder na URSS em 1922, e durante os anos de poder stalinista ocupou diversos cargos importantes na hierarquia soviética, entre eles o de Ministro do Comércio. Com a morte do líder, passou a apoiar Nikita Kruschev em sua política de desestalinização e fez várias viagens importantes como enviado do governo a Cuba após a ascensão de Fidel Castro, e aos Estados Unidos, conquistando estatura política na cena da diplomacia internacional e tornando-se o segundo homem mais poderoso da União Soviética nesse período.

Em 1964, com a deposição de Kruschev, Mikoyan manteve-se influente no novo governo de Leonid Brejnev e foi apontado presidente do Presidium do Soviete Supremo ou Chefe de Estado, cargo que manteve até sua aposentadoria em 1965. Morreu aos 82 anos de causas naturais em 1978 e foi sepultado no Cemitério Novodevichy, em Moscou.