[2] Al carecer de un palacio episcopal, y debido a la gran distancia con Sigüenza, el obispo Juan Díaz de la Guerra llegó a un acuerdo con su mayordomo en la localidad, Matías García,[3] para la construcción de un edificio "bello e digno".
La propiedad del edificio ha sido desde su construcción particular, sin carácter institucional, pero con obligación de dar alojamiento y manutención a los obispos de Sigüenza.
El edificio colindante en su cara norte, fue otrora el granero del obispo, donde se acumulaban ingentes cantidades de grano que servían para uso de toda la diócesis.
Ha sido demolido durante la década de los sesenta para realizar viviendas.
Existen diversas pinturas murales, en las que destacan las de la alcoba donde dormían los obispos, y las del salón principal, con trampantojo y motivos naturales.