Passou os primeiros anos da sua vida em Itália, onde o pai era embaixador de Filipe II de Espanha, junto da Santa Sé. Tanto o Papa Clemente VII como o seu pai favoreciam a sua inclinação para os estudos eclesiásticos, por ser o terceiro filho, mas a morte de seus irmãos mais velhos mudou a sua vida. Casou-se com sua prima, Inés de Zúñiga y Velasco. A seu pai devia a habilidade política, o tacto diplomático e a astúcia, que o levam ao cargo de primeiro-ministro de Filipe IV de Espanha. Tanto em Madrid como em Sevilha, vive com grande ostentação, o que lhe acarreta dificuldades económicas.

A partir de 1615, faz parte da corte do infante D. Filipe, filiado no partido de Uceda. Quando o infante sobe ao trono, o poder passa para as mãos de Olivares, que manda matar e prender as figuras mais destacadas do reinado anterior, como Rodrigo Calderón.