Потомственный музыкант, Колонн поступил в Парижскую консерваторию в
1856 г. по классам скрипки и композиции. Но уже в
1858 г. он был приглашён первой скрипкой в оркестр парижской Гранд Опера. Вскоре Колонн также занял место второй скрипки в знаменитом Квартете Ламурё — его первая скрипка
Шарль Ламурё на долгие годы стал заметным соперником Колонна, особенно когда оба, Колонн и Ламурё, основали свои оркестры.