El antiguo caserón de los condes de Olocau fue comprado, en 1840, por José Campo Pérez el primer marqués de Campo, quien rehízo la fachada confiriéndole el aspecto actual, y lo amplió con viviendas colindantes, generando una unidad arquitectónica bien definida y articulada en torno al patio, si bien que con extensiones puntuales, como por ejemplo, la Capilla u Oratorio en edificaciones vecinas vinculadas a la misma propiedad utilizando una parte de estos para la capilla del palacio.
A continuación del palacio se dispone la fachada de los edificios colindantes, separadas por una cristalera que al interior corresponde con el espacio denominado 'la Serré'.
Tras el ingreso se accede a un zaguán que da paso al patio central del palacio.
La escalera desemboca en un rellano que da paso a las diferentes salas del palacio como el salón de baile o el salón Imperio, que en la actualidad son salas expositivas, conservando muchas de ellas la decoración original.
En estas salas se encuentran hoy exposiciones temáticas de las colecciones municipales.