Filho da condessa polaca Angelica Kostrowicka e de pai desconhecido- suspeita-se de um aristocrata suíço-italiano chamado Francesco Flugi d'Aspermont,passa seus primeiros anos entre Roma, Mônaco, Nice, Cannes, Baratier e Lyon. Desde 1902 foi um dos membros mais populares do bairro artístico parisiense de Montparnasse. Foram seus amigos e colaboradores Pablo Picasso, Max Jacob, André Salmon, Marie Laurencin, André Derain, Blaise Cendrars, Pierre Reverdy, Jean Cocteau, Erik Satie, Ossip Zadkine, Marcel Duchamp e Giorgio de Chirico.

Em 1901 e 1902, trabalhou como preceptor da menina Gabrielle em uma família alemã, na companhia da qual viajará pela Alemanha, tendo se apaixonado pela governanta inglesa Annie Playden, que o recusou, sendo que a mesma partiu em 1905 para a América. Da paixão não correspondida, surgiu Annie et La Chanson du Mal-Aimé.