Herzog pertence a uma influente dinastia política israelense. Filho de Chaim Herzog, um general que chegou a ser o 6° Presidente de Israel, e neto do primeiro rabino-chefe asquenaze do país, Yitzhak HaLevi Herzog, é também sobrinho do legendário Abba Eban, ministro de Relações Exteriores durante a Guerra dos Seis Dias.

Herzog é graduado em  Direito pela Universidade de Tel Aviv. Também estudou na Universidade Cornell e na Universidade de Nova York. Trabalhou no escritório de advocacia Herzog, Fox & Ne'eman, fundado por seu pai.