Гилберт был сыном Ричарда Фиц-Гилберта, активного участника нормандского завоевания Англии в 1066 году, и Рохезы Жиффар. Отец Гилберта получил от короля Вильгельма Завоевателя обширные земли в Англии, в частности в Суффолке и Кенте, где Ричард выстроил замки Клер и Тонбридж. По названию первого потомки Ричарда получили позднее фамилию де Клер. После смерти Ричарда в 1090 г. его английские владения отошли к младшему сыну Гилберту, а нормандскиелены — к старшему Рожеру.