A língua lozi se desenvolveu a partir da mistura de duas línguas: luyana e kololo. O povo luyana originalmente migrou para o sul vindos do império Luba-Lunda na area de Katanga na bacia do rio Congo, ou no período final do século XVII ou início do século XVIII. A língua que eles falavam, era intimamente ligada às línguas lunda e luba. Eles se estabeleceram nas planícies alagadas do rio Zambeze onde hoje fica o oeste da Zâmbia, local em que desenvolveram um reino, Barotze, nome que deram à planície alagada de Barotse ou Bulozi.

Os kololo eram um povo sotho que viviam onde hoje fica o Lesotho. Os kololo foram forçados a fugir do shaka zulu Mfecane durante a década de 1830. Utilizando táticas que copiaram dos soldados Zulus, os kololo conquistaram os luyana dos pântanos do Zambeze e impuseram suas leis e suas línguas. No entanto, em 1864 a população se revoltou e destituiu os kololo do poder. Àquela altura, a língua luyana havia sido esquecida pela maioria da população, a nova língua híbrida foi chamada de lozi ou silozi e é mais próxima ao sesotho do que qualquer outra língua da Zâmbia.