Se alza sobre un cerro desde el que domina la localidad, siendo uno de sus símbolos más característicos.
En la Edad de Hierro, los íberos se asentaron en él convirtiéndolo en un gran poblado fortificado.
Después, son los romanos los que se hacen con su posesión y fortifican el cerro, construyendo así una parte de la muralla, que aún se conserva hoy en día.
El rey concedió tras la reconquista los privilegios de Carta Puebla a Jumilla y el actual escudo de la ciudad, basado en aquella batalla.
En 1461 el marqués de Villena hizo levantar la fortaleza prácticamente tal como la conocemos actualmente, con tres pisos, sótano y terraza, poniendo en ella su escudo de armas.