Родился в Екатеринославе (ныне Днепропетровск) 14 ноября 1924. Учился с 1933 в Москве, с 1936 в Центральной музыкальной школе в классе А.И.Ямпольского (представителя школы Леопольда Ауэра). У того же педагога окончил в 1948 Московскую консерваторию, в 1953 — аспирантуру. Победитель Международного конкурса скрипачей имени королевы Елизаветы в Брюсселе (1951). С 1944 — солист Московской филармонии. С 1952 до конца дней преподавал в Московской консерватории. Среди учеников Когана — В.Муллова, М.Яшвили, А.Корсаков. Народный артист СССР. Лауреат Ленинской премии (1965).