O termo rex teutonicorum ("rei dos teutões") entrou em uso na chancelaria do Papa Gregório VII durante a questão das investiduras (final do século XI), talvez como uma ferramenta contra o imperador Henrique IV. No século XII, a fim de salientar o caráter imperial e transnacional do seu governo, os imperadores começaram a empregar o título rex Romanorum ("rei dos romanos") em sua eleição (pelos príncipe-eleitores, sete bispos alemães e nobres). A titulatura distinta para a Alemanha, Itália e Borgonha, que tradicionalmente tinham seus próprios tribunais, leis e chancelarias, gradualmente caiu a utilização. Após a Reichsreform e a dieta de Augsburgo, a parte alemã do Sacro Império Romano foi dividido em Reichskreise (círculos imperiais), o que efetivamente definiu a Alemanha imperial e os reinos da Itália e Boêmia. No entanto, existem relativamente poucas referências a um reino alemão e uma instabilidade no uso do termo.

A extensão territorial do império variou durante sua história, mas no seu ápice englobou os territórios dos modernos Estados da Alemanha, Áustria, Suíça, Liechtenstein, Luxemburgo, República Tcheca, Eslovênia, Bélgica, Países Baixos e grande parte da Polônia, França e Itália. Na maior parte da sua história, o império consistiu de centenas de pequenos reinos, principados, ducados, condados, Cidades livres imperiais, e outros domínios. Apesar de seu nome, na maior parte da sua existência o Sacro Império Romano-Germânico não incluiu a cidade de Roma em seus domínios, e recebeu este nome em homenagem às glórias e ao poder que o Império Romano deteve em quase todo o continente europeu.

Os primeiros soberanos do Sacro Império, por um curto período, foram os carolíngios, depois os Guideshi, novamente a dinastia carolíngia, depois os Saxões, posteriormente a dinastia saliana, os Süpplingerburg, os Hohenstaufen, os Guelfos, os Wittelsbach, e por maior tempo, desde 1273 até a dissolução do império em 1806, em decorrência das Guerras Napoleônicas, foram os Habsburgos.