Холлерит родился в городе
Буффало (
США) в семье немецких иммигрантов. В
1879 г. он закончил Горную школу при Колумбийском университете и стал ассистентом профессора У. Траубриджа (W.P. Troubridge) сначала в Колумбийском Университете, а затем и в Бюро по переписи населения (U.S. Census Bureau), сотрудником которого был этот профессор. В
1882 г. Холлерит начал преподавание в
Массачусетском Технологическом институте, а в
1884 г. перешел на работу в Патентное ведомство США.