Карломан был старшим сыном Людовика Немецкого, короля Восточно-Франкского королевства, (Германии) и Эммы, дочери графа Вельфа. В 861 г. Карломан поднял восстание против своего отца, а в 863 г. к новому мятежу Карломана присоединились и его младшие братья Людовик III Младший и Карл III Толстый. В 864 г. Людовик Немецкий был вынужден уступить Баварию Карломану, а в следующем году он передал Саксонию Людовику Младшему, а Швабию Карлу Толстому. Позднее Карломан примирился со своим отцом, и они вместе боролись за имперскую корону с императором Людовиком II, правда неудачно.