El edificio, cuya construcción se remontaría al siglo XVI,[1] se encuentra intramuros.
El palacio habría sido uno de los escenarios de la obra del escritor argentino Enrique Larreta titulada La gloria de Don Ramiro.
Fue declarado monumento histórico artístico de carácter nacional 16 de octubre de 1969, mediante un decreto publicado en el Boletín Oficial del Estado el 17 de noviembre de ese mismo año con la rúbrica del dictador Francisco Franco y el ministro de Educación y Ciencia José Luis Villar Palasí.
[2] Ya desde 1998 se empezó a especular con la posibilidad de usar el inmueble como subsede del Museo del Prado.
[1] Más adelante en 2018 se planteó como un espacio destinado para el Museo de Ávila, sin dejar de considerar la opción de exponer obras del museo madrileño.