En 1541, Gustav Vasa adquirió la finca del bailío Jacob Vestgöte Sjöö.
Posteriormente, el castillo fue entregado por Erik XIV a Gustaf Johansson (Tres Rosas).
La finca pasó después en sucesión a Johan Gabriel Stenbock (1640-1705), que era una de las personas más poderosas en Suecia.
Junto con el renombrado arquitecto sueco Nicodemus Tessin el Viejo (1615-1681) y el arquitecto y maestro constructor Mathias Spieler (1640-1691), Stenbock construyó el Castillo de Sjöö como es en la actualidad.
Su hijo, Fredrik, se casó con la famosa Catalina Carlota De la Gardie, quien vivió en el Castillo entre 1748 y 1763.