Wilford Woodruff foi um dos nove filhos de Afec Woodruff, um moleiro de Farmington (Connecticut). A mãe de Wilford morreu em 1808, aos 26 anos de idade, quando Wilford era apenas um bebê. Ainda jovem, Wilford trabalhava em uma serraria e um moinho de farinha de propriedade de seu pai.