Columbia é também uma das oito universidades que compõe a prestigiosa Ivy League, as outras sendo Harvard, Princeton, Yale, Pensilvânia, Cornell, Dartmouth e Brown. A escola foi fundada no ano 1754 como King's College (Colégio do Rei). Após a Revolução Americana a universidade foi renomeada Columbia, visto o caráter patriótico do nome, um nome alternativo para América.

Inicialmente, a universidade foi fundada quase no fim da ilha de Manhattan, em terra da igreja Trinity Church. No seguinte século se mudaria para mais ao norte da ilha, onde agora encontra-se o Rockefeller Center, e no ano 1896 mudou-se pela última vez, desta vez para o bairro Morningside Heights.