После смерти отца Альфонсо получил по завещанию
Леон и
Астурию. В
1067 году началась война между ним и его старшим братом
Санчо II; последний разбил его в двух сражениях — при Льянтаде и Гальпехаре. Во втором сражении Альфонсо попал в плен, и брат заточил его в один из своих замков. Спустя некоторое время Альфонсо удалось бежать, и он нашел приют при дворе Толедского эмира. Узнав в
1072 году о смерти Санчо II, Альфонсо тайно уехал из
Толедо, и был провозглашен королем Кастилии. Младшего брата, правившего
Галисией, он обманом захватил в плен и держал в строгом заключении до самой его смерти. Таким образом, Альфонсо овладел всем отцовским государством: Кастилией, Леоном и Галисией.