Грам изучал ботанику в Университете Копенгагена и был ассистентом ботаники у зоолога Япетуса Стенструпа. Работа с растениями позволила ему узнать основы фармакологии и научиться пользоваться микроскопом.
Он поступил в медицинскую школу в 1878 году и закончил её в 1883. Между 1878 и 1885 годами Грам путешествовал по Европе. В Берлине, в 1884, он разработал метод разделения двух основных классов бактерий. Эта техника, Метод окраски Грама, продолжает оставаться стандартной процедурой в медицинской микробиологии.