Филипп был старшим сыном Ги де Милли, рыцаря из
Пикардии, принимавшего участие в
Первом Крестовом походе, и его жены (возможно второй) Стефании из
Фландрии. Ги и Стефания имели ещё двух сыновей, все трое были рождены уже на
Святой Земле. Впервые он упоминается как сын Ги в
1138 году, а между 1138 и
1144 (когда его имя упоминается вновь) становится лордом . В это же время он женится на Изабелле.