Фромборк состоит из двух частей — собственно города, расположенного на прибрежной низменности, и соборного ансамбля, расположенного на холме.
Со времени своего основания, в
1261 году, Фромборгский собор был центром епархии. Собор окружен крепостными стенами. Город же первоначально возник как рыбацкая деревня, примерно в четвёртой четверти
XIII века. Вплоть до
1926 года соборный комплекс и город были отдельными административными единицами.