A história do koto é longa. O instrumento já com as suas principais características atuais foi introduzido no século VI (época do imperador Kinmei) vindo da China (dinastia T’ang). Ele já possuía o corpo feito com a madeira tradicional do Japão o Kiri (Paulownia), sendo todo laqueado. Ele era chamado de Kin-no-Koto. Data desta época a partitura mais antiga para o Koto (Yuran-fu que se encontra guardada no Templo Shinhoin). Seu ancestral é o instrumento musical chines Guzheng.

O instrumento está presente na literatura japonesa desde a antiguidade. Nos Contos de Genji (Genji Monogatari de Murasaki Shikibu 978-1016) o Koto aparece em diversas passagens. O seu personagem principal, o príncipe Hikaru Genji, quando exilado em Akashi tocava e mantinha diálogos musicais com Lady Akashi. Em outra obra, Contos de Heike (Heike Monogatari), a amada do imperador, Kogo, foi descoberta em seu esconderijo pelo som de seu koto.