Происходил из знатного
армянского рода (прозвище Цимисхий по-армянски значит «низкого роста»), был родственником своего предшественника
Никифора Фоки и принимал деятельное участие в его гибели, войдя в соглашение со своей любовницей Феофано, женой Никифора. По требованию патриарха Полиевкта Иоанн наказал своих приверженцев, обвинив исключительно их в убийстве Никифора, и удалил от двора Феофано. Затем он занялся делами милосердия и благотворительности, роздал всё имущество своё бедным, устроил больницу для прокажённых, которую очень часто посещал, сам перевязывая больным раны.