Filho da
condessa polaca Angelica Kostrowicka e de pai desconhecido- suspeita-se de um aristocrata suíço-italiano chamado Francesco Flugi d'Aspermont,passa seus primeiros anos entre
Roma,
Mônaco,
Nice,
Cannes,
Baratier e
Lyon. Desde
1902 foi um dos membros mais populares do bairro artístico
parisiense de
Montparnasse. Foram seus amigos e colaboradores
Pablo Picasso,
Max Jacob,
André Salmon,
Marie Laurencin,
André Derain,
Blaise Cendrars,
Pierre Reverdy,
Jean Cocteau,
Erik Satie,
Ossip Zadkine,
Marcel Duchamp e
Giorgio de Chirico.
Em 1901 e 1902, trabalhou como preceptor da menina Gabrielle em uma família alemã, na companhia da qual viajará pela Alemanha, tendo se apaixonado pela governanta inglesa Annie Playden, que o recusou, sendo que a mesma partiu em 1905 para a América. Da paixão não correspondida, surgiu
Annie et La Chanson du Mal-Aimé.