De acordo com uma lenda berbere, Aghmat era povoada por berberes cristãos quando foi tomada pelo conquistador muçulmano do Norte de África Uqba ibn Nafi em 683. No entanto, esta história só surgiu quase 700 anos depois daquela data, e muitos historiadores não lhe dão qualquer crédito. Além disso, é diretamente contradita por um dos mais antigos historiadores persas, al-Baladhuri, que relata que Musa ibn Nusair conquistou o Suz e erigiu uma mesquita em Aghmat.