El origen del pazo se encuentra en una construcción anterior, una torre conocida como Torre de Busteu y fue su señor Pedro Álvarez de Soutomayor, apodado Pedro Madruga.
El pazo se comenzó a construir posiblemente en el siglo XIV, aunque el edificio que hoy tenemos data del siglo XVI con incorporaciones de los siglos XVIII y XIX.
Se asemeja al cercano Pazo Quiñones de León, pues ambos pazos no presentan la tradicional escalera/solaina exterior.
Las columnas a los lados de la puerta portan cada una un escudo y unas inscripciones.
Es de propiedad privada, no siendo visitable, y tiene uso hostelero.