Desde 1986, vários artistas, não apenas do rock, mas de toda a música jovem em geral, são incluídos no Salão da Fama em uma cerimônia anual na cidade de Nova York. O primeiro grupo de indicados, agraciados em 23 de janeiro de 1986, incluía Chuck Berry, James Brown, Ray Charles, Fats Domino, Everly Brothers, Buddy Holly, Jerry Lee Lewis e Elvis Presley. Atualmente, o principal critério para a inclusão de uma banda ou artista é que seu primeiro álbum tenha sido lançado pelo menos há 25 anos.

O museu, de aço e vidro, só abriu em 21 de setembro de 1995, em um prédio projetado por I. M. Pei. Fica às margens do Lago Erie em Cleveland, perto do Cleveland Browns Stadium. A localização do museu foi controversa, mas considerada historicamente apropriada, uma vez que o DJ Alan Freed, creditado como um dos que mais divulgaram o gênero e que cunhou o termo "rock and roll", nasceu ali.