Durante las siguientes décadas hubo más obras de construcción: en 1664 la fábrica del Colegio compró el monasterio adyacente de San Primo con la iglesia y posteriormente Gerolamo Quadrio realizó obras para ampliar y embellecer esta iglesia.
El edificio continuó manteniendo esta función hasta 1814 cuando, habiendo derrotado a Napoleón, los austriacos regresaron y decidieron utilizar el edificio primero como Cancillería del Ejército imperial austríaco y, en 1817, como Oficina de Contabilidad del Estado.
El proceso de transferencia fue largo y conflictivo, a tal punto que ni siquiera Osio vio su sueño plenamente realizado.
El famoso estudio del año 1776 realizado por Leopoldo Pollack, que muestra la iglesia tanto en planta como en sección.
[4] Durante la Época Napoleónica, el edificio del Senado acogió el primer buzón de Milán.