聖荷西在1777年建立時為西班牙屬墨西哥新加利福尼亞(Nueva California)(後來的上加利福尼亞(Alta California))的第一個城鎮,是一個為了提供附近軍事設施食物而設的農業鎮。在1850年正式立市時也是加州加入美國聯邦後的第一個成立的城市,也是加州的第一個首府。在
第二次世界大戰結束後為了安置許多的退伍軍人和他們的家庭,以及應付
1950年代和
1960年代的人口擴張和急速經濟成長,在做為一個農業城鎮150年後,聖荷西漸漸成為
舊金山和後來
1970年代矽谷的一個住房社區。隨著高科技公司在
1980年代和
1990年代創立於或移入聖荷西,聖荷西也逐漸成為矽谷的商業和研發中心,也開始有了
矽谷首都(Capital of Silicon Valley)這個別名。