Сын бедного музыканта. Поступил на службу в военный оркестр (
гобоистом) и в
1755 г. в составе полка был командирован из Ганновера в
Англию (эти два государства были связаны
личной унией). В
1757 г. ушёл с военной службы ради занятий музыкой. Работал органистом и учителем
музыки в Галифаксе, затем переехал в курортный город
Бат, где стал распорядителем публичных концертов. Интерес к музыкальной теории привёл Гершеля к
математике,
математика к
оптике и наконец
оптика к
астрономии. В
1773 г., не имея средств для покупки большого
телескопа, он стал сам шлифовать зеркала и конструировать телескопы и в дальнейшем сам изготавливал оптические приборы как для собственных наблюдений, так и на продажу.