Как и его двое братьев,
Дмитрий и
Михаил, Семен был сыном Федора Юрьевича и Марии Корибутовны. В
1493 г. Семен принял
литовское подданство (согласно литовскому источнику, его принудил к этому брат Дмитрий). В том же году, Дмитрий отнял у Семена его казну и слуг и сам перешел под власть
Москвы.