José nació como el hijo mayor del Príncipe Juan I de Schwarzenberg y de la Condesa María Leonor de Öttingen-Wallerstein y sucedió a su padre en 1789.
En 1798 compró las propiedades de Stubenbach y Gutwasser con los dominios añadidos de Stachau, Altstadln y Neustadln.
En 1806, después de la ocupación francesa, perdió la soberanía sobre las posesiones franconas y suabas de su Casa.
En 1808 José fue aceptado en la Orden del Toisón de Oro.
Su esposa Paulina murió en 1810 en un incendio en un baile en el jardín de la embajada austriaca en París en honor del matrimonio de Napoleón con María Luisa de Austria.