La salida del club de Coímbra, sin embargo, estuvo envuelta en polémica.
José Eduardo Simões, presidente del Organismo Autónomo, exclamó, en Asamblea General, que "Zé Castro no quiso renovar con la Académica, por querer ser el jugador mejor pagado del club", hecho que poco después fue desmentido por el jugador.
Con la temporada 2006/2007, Zé Castro fichó por el Atlético Madrid, y debido a las lesiones de los otros jugadores de su posición, y la baja forma del equipo en general acabó por jugar más de lo inicialmente esperado, llegando incluso a marcar dos goles.
Sin embargo, los ocho partidos que jugó la temporada siguiente (2007/2008) en el Atlético Madrid, no fueron suficientes para las aspiraciones del propio jugador, y al finalizar la temporada 2007/2008, Zé Castro manifestó su deseo de salir del club.
[8] A inicios de la tercera temporada renovó por otras tres con el conjunto rayista.
[10] Con el descenso a la "Terceira Divisão", cuatro jornadas antes de la finalización de la temporada, Zé Castro anunció su retirada del futbol profesional cuando ésta finalizará.