Rio Branco estudou na Academia Real dos Guardas Marinhas e se tornou, em 1841, um aspirante de marinha. Mais tarde, no mesmo ano, foi estudar na Real Academia de Artilharia, Fortificação e Desenho, eventualmente se tornando um instrutor. Tornou-se um político do Partido Liberal em vez de continuar sua carreira como militar. Foi eleito deputado provincial do Rio de Janeiro em 1845 e subiu até o poder na província sob a tutelagem de Aureliano de Sousa e Oliveira Coutinho – um político veterano que exercia enorme influência sobre o jovem e inexperiente imperador D. Pedro II. Rio Branco temporariamente abandonou a política depois da queda de Aureliano Coutinho e a subsequente dissolução do Partido Liberal.

Seu trabalho como jornalista, destacando as ameaças representadas pelos conflitos armados nas repúblicas do rio da Prata (Confederação Argentina e Uruguai), atraiu a atenção de Honório Hermeto Carneiro Leão, Marquês do Paraná, que o convidou a trabalhar como seu secretário em uma missão diplomática em Montevidéu. Eles foram bem sucedidos na formação de alianças que eventualmente contribuíram para a queda de Juan Manuel de Rosas, ditador argentino que declarou guerra contra o Brasil. Rio Branco se juntou em 1853 ao Partido Conservador de Paraná e mais tarde fez parte do gabinete que o segundo presidiu. Rapidamente cresceu dentro do partido, durante a década de 1860, enquanto vários membros se juntavam ao partido recém criado da Liga Progressista. Rio Branco foi enviado ao Uruguai em 1864 com o objetivo de conseguir um fim diplomático para a Guerra do Uruguai. Mesmo sendo bem sucedido, acabou repentinamente dispensado do cargo. Foi chamado novamente em 1869 e enviado para o Paraguai, desta vez para negociar o fim da Guerra do Paraguai. Seus esforços foram reconhecidos e Pedro II lhe criou o título de Visconde do Rio Branco.