Lillian iniciou sua carreira atuando nos palcos, mas após o casamento Walter Augustus de Havilland, em
1914, decidiu abandonar a carreira de atriz ao se estabelecer com o marido em
Tóquio, no
Japão, onde este trabalhava como professor de inglês e francês na
Universidade de Tóquio antes de se tornar advogado de patentes com prática no Japão. A
1º de julho de 1916 nasce a primogênita do casal, Olivia Mary de Havilland, e, 15 meses mais tarde, a
22 de outubro de 1917, nasce a filha caçula, Joan de Beauvoir de Havilland. Este não foi um casamento feliz, devido às infidelidades de Walter, que tinha casos com garotas
gueixas. Em
1919, a família partiu para a
Califórnia, e lá decidiram tratar da saúde de Olivia, fragilizada por causa de uma bronquite. Depois disso, Joan acabou contraindo pneumonia e, por indicação médica, a família se estabeleceu na cidade de
Saratoga, estado da Califórnia, a 80km ao sul de
San Francisco. Passado algum tempo Walter deixou sua esposa e voltou para a sua amante japonesa, com quem se casaria após oficializar o divórcio com Lilian, assinado a
23 de fevereiro de
1925, 6 anos após estarem vivendo separados. Lilian também se casaria novamente: em
abril de 1925 ela oficializou a união com um gerente de uma loja de departamentos chamado George Milan Fontaine, um homem severo, detestado por Olivia e Joan, de quem Lilian fora esposa até 1956, quando da morte dele.
Ao decidir que se tornaria uma atriz, Joan usaria no
nome artístico o sobrenome adotado por sua mãe após o segundo casamento, pois Lillian não permitiu que ela usasse o mesmo sobrenome que o da irmã Olivia, já uma estrela em ascensão; Lillian não aprovava que Joan seguisse carreira artística - segundo ela, só haveria em Hollywood apenas uma De Havilland (referindo-se à Olivia). Além desse fato, as garotas nunca tiveram um bom relacionamento; após a morte de Lillian, em 1975, Olivia e Joan não mais se falariam enquanto em vida.