Se menciona por primera vez el año 977 en que fue vendido por el conde Borrell de Barcelona a Unifred y posteriormente, en 990, con motivo de una venta de los hermanos Calabuig y Guazamir (o Guadamía) a Senfred.
La existencia de estos dos castillos dentro de una misma baronía, y con una misma denominación, lleva a confusión en algunos casos sobre cuál es cuál en la documentación relacionada con ellos.
El año 1213 la denominación de este castillo aún mantenía la palabra «extremo» bajo la forma de "Castri Veteri Extremerii» aunque posteriormente también llega a ser conocido como Castellvell del Panadés (1221).
Martín el Humano mostró interés en que este castillo y su término pasara a depender de Barcelona dando órdenes al veguer de Barcelona y del Vallés (1399) que pusiera a subasta el castillo y su jurisdicción proponiendo a los consejeros de Barcelona que accedieran a efectuar la compra.
La capilla se abandonó como la fortaleza, es decir, el siglo XIII.