São mencionados pela primeira vez em fontes romanas do século III quando em 268 e 269 participaram de uma coalizão bárbara que reunia os pecinos e os carpianos, pequenas tribos germânicas, mas também os gépidas e sobretudo os godos. Este exército reunido, que contava com mais de 300.000 guerreiros (cifra certamente exagerada por cronistas romanos e gregos), atacou as forças do imperador Cláudio II sobre o Danúbio. Fixaram-se na costa do mar Negro, onde foram dominados pelos ostrogodos e pelos hunos, entre os séculos III e IV. Alguns de seus integrantes migraram para a Escandinávia e outros se envolveram como mercenários do exército do Império Romano do Oriente.

Após a morte de Átila, rei dos hunos em 453, os hérulos, em 454, se separaram dos hunos e constituíram um forte reino em torno de Brno (Morávia meridional) e Viena, submetendo as populações vizinhas, entre as quais os lombardos. Em 476, os hérulos, liderados por Odoacro, invadiram a Itália e depuseram Rômulo Augusto, o último soberano do Império Romano do Ocidente. Nominado rei do povo (rex gentium) das suas tropas, Odoacro decidiu não nomear um sucessor ao imperador deposto. Em vez disso, enviou as insígnias imperiais ao imperador do Império Romano do Oriente, Zenão I, o qual, ainda que o convidando a submeter-se à autoridade do imperador legítimo, Júlio Nepos, aceitou de fato a sua soberania sobre as terras do Ocidente, decretando assim "oficialmente" o fim do Império Romano do Ocidente. A administração de Odoacro se baseou numa política conservadora, deixando aos romanos a possibilidade de manter o exercício de cargos menores e o livre exercício do cristianismo, mantendo assim substancialmente intacta a estrutura organizacional precedente. Desta maneira assegurou a fidelidade da aristocracia, do Senado e da Igreja.