O seu percurso pessoal teve um início invulgar para um político, uma vez que não frequentou a Universidade, tendo ingressado cedo no mundo do trabalho. Ainda assim, foi capaz de se afirmar no seio do Partido Conservador britânico, em larga medida graças à sua competência e à sua experiência no domínio económico.

Major conquistou assento na Câmara dos Comuns em 1979, ano em que Margaret Thatcher chegou ao poder. Em 1987 tornou-se secretário de Estado do Tesouro. Em 1989 a primeira-ministra Thatcher nomeou-o para o importante cargo de ministro dos Negócios Estrangeiros, posto que só ocuparia por três meses devido a uma remodelação ministerial que o viria a tornar ministro das Finanças 1989-1990. Entretanto, ia-se cada vez mais assumindo como figura de proa do Partido Conservador.