O distrito fica a 59 quilômetros do centro de São José dos Campos e o acesso é feito por estrada asfaltada, utilizando a rodovia SP-50, através do município de Monteiro Lobato. A estrada até o distrito é em meio à Serra da Mantiqueira, sendo que o trecho entre Monteiro Lobato e São Francisco Xavier foi restaurado no início de 2009. Outra opção é a ligação por trilhas e estrada de terra para o distrito de Monte Verde de Camanducaia, em Minas Gerais.

Possui uma área de preservação ambiental (APA) que abriga inúmeros animais como jaguatiricas, pacas, capivaras, esquilos, cobras, lagartos e o famoso macaco muriqui; e tem várias cachoeiras, como as Cachoeiras Pedro David, das Couves, e do Roncador.