Forse più noto come paroliere, e benché non sapesse leggere la musica, Mercer fu anche compositore e cantante. Molte delle canzoni che Mercer scrisse e cantò tra il 1930 e il 1950 divennero successi commerciali. Nel corso della sua carriera, Mercer scrisse il testo per più di millecinquecento canzoni, che comprendevano spettacoli di
Broadway e film. Ricevette inoltre diciannove nomine agli
Oscar, vincendone quattro. Mercer fu anche cofondatore della
Capitol Records.