Родился 4 августа 1806 г. в родовом имении Басово близ
Тулы в семье исправника Тульского земского суда Петра Яковлевича Хрущёва (1763—1841) и Елены Степановны урождённой Есиповой (1770—1851). Братья и сестра Александра Петровича: Яков (1790—1809, мичман фрегата «Поллукс», погиб при кораблекрушении),
Степан (1791—1865, адмирал,
Архангельский военный губернатор), Николай (умер в детском возрасте), Иван (1794—1826), Борис (1795—1870, управляющий Пермской казённой палатой), Наталия (1799—1869), Василий (умер в младенчестве), Николай (1803—1828).