O nome deriva da sua antiga localização, na Great Scotland Yard, uma rua situada em Whitehall. A exata origem do nome é desconhecida mas, segundo uma hipótese, no local se encontrava a missão diplomática dos reis da Escócia, antes da União de 1707 entre Inglaterra e Escócia. Outra possibilidade é que, durante a Idade Média, o local pertencesse a um homem chamado Scott, ou ainda que as diligências para a Escócia saíam dessa rua .

No século XVII, vários prédios governamentais instalaram-se no local. Os arquitetos Inigo Jones e Christopher Wren também moravam lá. Entre 1649 e 1651, o poeta John Milton viveu lá durante o período republicano da Commonwealth of England, sob o governo de Oliver Cromwell.