Nasceu de Johannes Dircksen Hoes (
1753-
1789), e Maria Quakenbush (
1754-
1852) que eram de ascendência
neerlandesa. Estudou na escola local Kinderhook, tendo aulas com o professor Vrouw Lange. Assim como Martin, morou em uma casa com aspectos
neerlandeses e nunca perdeu seu distinto sotaque neerlandês. Van Buren era entregue à sua timidez, a noiva de olhos azuis, a quem ele sempre chamava de "
Jannetje", uma representação em
neerlandês de Johanna.