El Palacio tiene su origen en las primeras décadas del siglo XVIII, cuando fue construido (aprovechando una fachada anterior) como mansión solariega para Don Alfonso de Eslava y Trujillo.
La parte baja de la fachada, más antigua, corresponde a las plantas baja y principal y data de comienzos del siglo XVIII.
La parte superior, correspondiente con el cuerpo del ático, es coetánea a la torre.
En su interior, a través del zaguán, se accede al patio claustral.
Entre muchos otros tesoros, se encuentra en el museo el célebre Efebo de Antequera, una escultura del siglo I calificada como una de las piezas clásicas más bellas salidas del suelo patrio.