En 1473 la propiedad pasó del arzobispado al famoso rey Renato, quien donará el castillo y sus tierras dos años más tarde a su médico personal, Pierre Robin de Angers.
El cardenal tenía un pequeño oratorio instalado en el castillo en el que albergaba las reliquias de San Severino, un presente del papa Pío VII.
Fue adquirido en 1958 por el pintor español Pablo Picasso, que buscaba un lugar más tranquilo que su anterior vivienda en Cannes, La Californie.
Las autoridades locales no le permitieron ser enterrado allí, por lo que su esposa Jacqueline eligió el castillo de Vauvenargues para descanso de su marido.
En 1986 murió Jacqueline y fue enterrada junto a Picasso en los jardines del castillo, que en la actualidad es propiedad de la heredera de Jacqueline por su primer matrimonio, Catherine Hutin-Blay.