A los pies hay dos estancias que fueron usadas como osario y polvorín.
Sus muros gruesos y el pequeño tamaño de los vanos refuerza su aspecto fortificado.
El castillo de Paymogo es un recinto cuadrangular, defendido por cuatro baluartes artilleros en las esquinas.
No se conserva la puerta, que estaba situada en el muro sureste, pero sí algunas dependencias cuartelarias adosadas a la iglesia.
Por ello, las tropas lusas continuaron con la fortificación a efectos de hacerse fuertes en ella.