Hijo del vasco Joseph Luis Madariaga Respaldiza, nacido en Bilbao, y la correntina María Ángeles Acosta Soto.
Al llegar el general José María Paz a Corrientes, participó en la campaña contra la primera invasión del gobernador entrerriano Pascual Echagüe.
Con el apoyo de algunos jefes como Nicanor Cáceres y Benjamín Virasoro, en trece días ocuparon toda la provincia, obligando al gobernador Pedro Cabral a huir hacia Entre Ríos.
Su primera medida fue anular todo lo actuado por Cabral y sancionar a Ferré por haber abandonado la provincia.
En diciembre de 1843, ambos hermanos Madariaga invadieron Entre Ríos, aprovechando que Urquiza se encontraba en Uruguay persiguiendo a Rivera.
La retirada que siguió se transformó rápidamente en huida, y perdieron todo lo ganado.
En junio de 1845 enviaron una expedición a Santa Fe, dirigida por el exgobernador Juan Pablo López, pero este fue derrotado.
El general Paz no quiso saber nada de alianzas, y decidió derrocar a los Madariaga.
Allí hizo un intento de arrastrar al presidente López a la guerra contra Rosas.