Ha raggiunto il successo, insieme a Art Garfunkel, come membro dello storico duo Simon & Garfunkel, di cui è stato il principale compositore, ma è ricordato anche per i suoi album solisti intrisi di world music, in particolare africana e brasiliana. Dal 30 maggio 1992 è sposato con la cantante folk Edie Brickell. Ha quattro figli, il primo dei quali, Harper Simon (avuto dalla prima moglie Peggy), è un chitarrista. Nel 2002, Simon ha ricevuto i Kennedy Center Honors.