Окончил Пражскую консерваторию (
1861), концертировал в разных европейских странах. В
1862—
1868 гг. концертмейстер Амстердамского симфонического оркестра. В
1869 г. по приглашению
Николая Рубинштейна занял место ассистента при профессоре
Московской консерватории Фердинанде Лаубе. После смерти Лауба в
1875 г. Гржимали занял его место и оставался профессором консерватории в течение 40 лет до своей смерти; он считается одним из создателей российской скрипичной школы.