Seu nome deriva de um encontro entre os soberanos Carlos I da Hungria, Casimiro III da Polônia e João I da Boêmia, realizado em 1335, na cidade húngara de Visegrád, quando concordaram em criar novas rotas comerciais que evitassem Viena, facilitando o acesso a outros mercados europeus. Um segundo encontro teve lugar, sempre em Visegrad, em 1339.

O moderno V4 formou-se na mesma cidade, em 15 de Fevereiro de 1991, durante uma reunião entre os chefes de governo dos países membros (que se tornaram quatro em 1993, após a divisão da Checoslováquia), com o objetivo de reforçar a cooperação e promover a integração do grupo à União Europeia. Essa estratégia mostrou-se bem sucedida. Os membros do grupo aderiram à comunidade europeia, ao lado de outros seis países, em 1 de maio de 2004, o que fez o V4 perder importância.