המחזמר מושר במלואו, ללא דיבורים (למעט מילה או משפט קצר פה ושם). הוא מציג את סיפורו של ז'אן ולז'אן, לשעבר אסיר ב
כלא הצרפתי שהפך להיות ראש העיר. ולז'אן פוגש בפנטין, אשה ענייה ואם חד-הורית שמתה ממחלה. ולז'אן נשבע לה שיטפל בבתה היחידה - קוזט. אחרי ולז'אן עדיין רודף קצין המשטרה ז'אבר, שזוכר את ולז'אן בגלגולו הקודם, וכל זאת על רקע ההתפתחויות בצרפת, בין השאר מהפכת הסטודנטים של 1830 ו-1832. הלוגו המפורסם של המחזמר, שמציג את דיוקנה של קוזט, לקוח מתוך ציוריו של הצייר אמיל בָּיָאר לספר "עלובי החיים".