La familia Fusées vendió un terreno a Jean Scarron en 1677, situado al sur de la rue de la Perle y que les pertenecía desde el XIII.
El arquitecto conservó el solar más oriental sobre el que construyó su propia residencia en 1685.
El vasto frontón está adornado con querubines y cornucopias.
Severamente dañado a lo largo del siglo XIX, la ciudad de París, que pasó a ser su propietaria, lo revendió a la sociedad Bricard en 1968, para restaurarlo y de instalar allí un Museo de Cerraduras, donde se podían encontrar colecciones de cerraduras antiguas, hierro y bronce dorado.
El museo abrió sus puertas en 1976, pero fue cerrado en 2003, siendo sustituido por un centro de arte contemporáneo.