La parte adyacente a la construcción —el museo— fue muy dañada por un incendio en 1987.
Fue construida en el sitio de la villa Paterniaca (que dio su nombre a la ciudad de Payerne) construida a su vez en el siglo IV.
Los reyes de Borgoña y después los emperadores germánicos hicieron muchas donaciones, hasta la Reforma Protestante y la expulsión de los monjes en 1565.
Solo subsistió la sala capitular y un ala del convento.
Muchos frescos de los siglos XI y XII adornan las paredes del narthex:Cristo en la Cruz sostenido por Dios el Padre, la Virgen de la Misericordia, Cristo en el juicio final ante los veinticuatro ancianos del Apocalipsis.