El rey Enrique II lo donó a Alfonso Fernández de Vargas en el año 1374 y junto a la fortificación creció un pueblo que tomó el nombre de la familia dueña del castillo.
Finalmente pasó a ser posesión del Duque de Feria al no haber tenido los anteriores propietarios sucesión masculina directa.
Casi todo lo construido está hecho a base de mampostería, sillería y sillarejo.
Los flancos nordeste y noroeste así como el suroeste están casi totalmente ocultos por las viviendas que se han construido adosadas al castillo.
Solo en flanco sureste, que da a la plaza del pueblo, tiene el aspecto de vivienda palaciega.