La antigua fortaleza del siglo XIV, perteneció a Álvaro Pérez Osorio duque de Aguiar y señor del condado de Villalobos por donación de Henrique II.
Situada en la cumbre de una colina sobre la que se levanta la villa, sobre las ruinas de un antiguo castro.
Destacan en el lado norte, la puerta de entrada con dintel semicircular, adornado con la figura en relieve de un gaitero.
En el lateral sur, una ventana con doble aspillera, en arco.
Este castillo, también llamado "Torre del Homenaje", lo podemos contemplar desde cualquier parte de Castroverde, incluso en la entrada de este.