Su primer propietario fue don Pedro José Topete Barco, un aristócrata nacido en Alcántara, que se casó con doña Francisca Cayetana de Ulloa Golfín y Perero en 1719 y construyó el palacio en 1748.
Estos cuatro apellidos mencionados están representados en el escudo que está en la fachada del edificio.
El palacio llega a ser propiedad de la sobrina-nieta del sacerdote, Concepción Díaz Jiménez y ésta lo alquila a la familia Agúndez Mogollón.
En 1976, Wolf Vostell conoce el palacio a través del alcalde Juan José Lancho Moreno.
La fachada se unifica en dos grandes pilastras con divisiones horizontales, otorgándole cierta armonía.