No obstante, en esa misma temporada, el equipo debe jugar una promoción de permanencia, que acaba perdiendo para volver a categoría provincial.
En la 1964/65, tras protagonizar una gran campaña en la que no ceden ningún punto como equipo local, quedan en 3.ª posición en la liga.
En los mejores años del Pizarro, Elda era conocida por ser una caldera a presión, temida por todos los equipos, sobre todo durante los años de la Pista Paz, en la que los aficionados estaban sentados en sillas alrededor del terreno de juego.
En la cancha eldense era habitual ver derrotados a los equipos más importantes del país, como el BM Granollers, FC Barcelona, el Salleko, el Altos Hornos, pero sobre todo, el Atlético de Madrid, con quien hubo una gran rivalidad, y una larga serie de polémicas arbitrales y administrativas.
[1] La prensa colchonera calificaba al Pizarro como su máximo rival extradeportivo,[2] y la prensa calificaba los encuentros como batallas campales, recordando sobre todo una polémica derrota que sufrió el Atleti en Elda por 14-13 el 28 de enero de 1968,[3] aunque hubo otras más contundentes como la victoria cosechada por el Pizarro por 15-6 en la temporada 1964/65.
[4] La extrema rivalidad entre el Pizarro y el Atlético de Madrid fue el principal motivo que propició la desaparición del conjunto eldense.
El encuentro fue suspendido en la segunda parte por el árbitro, que acusó a los madrileños de una pasividad premeditada.
Esto se sumó a una polémica con el ayuntamiento de Elda, que al no dejarle utilizar el polideportivo municipal, fue nuevamente sancionado por dictarse incomparecencia en el encuentro Pizarro - Picadero Barcelona.