En 1857 los terrenos son adquiridos por Antonio Castilla, alcalde de Priego y diputado provincial,[1] quien se construye una residencia de verano en la zona denominada La Quinta.
Sus descendientes, los Castilla Abril y los Castilla Bermúdez Cañete, se encargaron de convertir el recinto en un jardín romántico en las siguientes décadas, sembrando gran vegetación e instalando juegos de agua, por lo que comenzó a denominarse también Recreo de Castilla, en referencia a la familia.
El jardín y el estanque reciben agua directamente del manantial ubicado en la Fuente del Rey de la localidad, que antiguamente hacía girar a cinco molinos cercanos a la zona, y servía como lugar de ocio para la familia, quienes realizaban veladas y fiestas en la Huerta.
Dicho festival continuó celebrándose en la Huerta de las Infantas en los sucesivos años hasta 1957.
No obstante, en 2012 hubo que reformular el proyecto para abandonar la restauración del molino de los Montoro, que será la futura sede del Museo Arqueológico de Priego, lo que dio comienzo a las obras en abril de 2013, siendo finalmente inaugurado y abierto al público la Huerta de las Infantas en junio del mismo año.