Fue padre de Alejandro, Augusto, Carlos Octavio y Delfina Bunge.
Cuatro años más tarde, fue nombrado juez penal de primera instancia y, más adelante, vocal de la Cámara de Apelaciones en lo Criminal, Correccional y Comercial.
Al fallecer Abel Bazán, Octavio Bunge, pasó a ejercer provisoriamente la presidencia del Tribunal por ser el juez más antiguo hasta que el 10 de mayo de 1905 el presidente Manuel Quintana designó en ese cargo a Antonio Bermejo pues en esa época el Presidente de la Nación designaba al Presidente de la Corte y el cargo era vitalicio.
Al retirarse Bunge en 1910, el presidente José Figueroa Alcorta nombró a Dámaso E.
Compartió La Corte Suprema en distintos momentos con Cornelio Moyano Gacitúa, Antonio Bermejo, Mauricio Pastor Daract, Nicanor González del Solar, Enrique H. Martínez, Juan Eusebio Torrent, Luis Vicente Varela, Abel Bazán y Benjamín Paz