Más tarde, ese mismo año, al recibir la noticia de la invasión de Díaz Vélez contra Santa Fe, se sublevó contra el gobernador federal José Javier Díaz y marchó a ayudar a Santa Fe.
Díaz le salió al cruce, intentando evitar que tomara la capital provincial.
Pero Bulnes lo derrotó en las afueras de la ciudad; el gobernador se retiró y renunció pocos días más tarde.
Tomó la ciudad y llamó a un cabildo abierto para elegir nuevas autoridades.
En ese lapso, Bulnes y Urtubey habían fracasado en formar un gobierno, y eso empeoró su situación para una posible batalla; de modo que llamaron a Cabildo Abierto, donde extrañamente resultó elegido Juan Andrés de Pueyrredón, hermano del Director Supremo.
Afortunadamente, el carácter familiar de este conflicto hizo menos duros los enfrentamientos entre federales y unitarios en Córdoba que en otras provincias.
Cuando Artigas decidió refugiarse en el Paraguay, Bulnes consiguió escabullirse y regresar en septiembre de 1820 a Córdoba, donde su antiguo enemigo Juan Bautista Bustos era ahora el gobernador y el jefe del partido federal.
Estaba con este en el momento en que el caudillo recibió al recientemente tomado prisionero general Paz.