Durante este período, varios documentos denuncian que regresaba cargado de caudales a Cádiz desde Veracruz y La Habana.
“El Oriflama” no responde al cañonazo disparado ni a la bandera de señales izada como aviso en “El Gallardo”, por lo que dispone que un bote se dirija hacia el otro barco, distante unas dos leguas (9,6km).
Desde su partida habían echado 78 cadáveres al mar, quedaban a bordo 106 enfermos graves, y sólo 30 hombres podían maniobrar en forma limitada las velas inferiores, siendo incapaces de subir más arriba de la primera cofa.
No obstante, la calma que había posibilitado la reunión de ambos navíos, se transformó de improviso en un viento fuerte del norte que impidió el acercamiento del bote con provisiones.
Ante esto, Ezpeleta ordenó arriar las velas para mantener su posición, y dispara un segundo cañonazo para que “El Oriflama”, con el viento a su favor, viniese hacia El Gallardo, pero El Oriflama, sin hacer caso ni demostración ninguna, claramente a la deriva, alejándose de El Gallardo.
Prosiguió la vuelta de afuera, que había emprendido con las cuatro principales rizadas y el sobremesana.
Desarbolado a ras de cubierta con la popa separada de la proa, y con alrededor de ocho hombres en el bauprés pidiendo socorro, el navío Nuestra Señora del Buen Consejo y San Leopoldo alias El Oriflama se pierde para siempre con su tripulación bajo una fuerte tempestad, la que impidió cualquier ayuda desde el mar o desde la tierra.
Sin embargo, pese a todos los esfuerzos, poco se pudo rescatar y se informó "Que durante todo el tiempo que se encontraban en el sitio, no habían visto la mar tranquila tres días, por lo que consideraba casi imposible el rescate[5] aún en caso de encontrar la carga.