Asimismo el castillo fue ampliado con multitud de alas para albergar a toda la familia.
Es por eso que durante la Revolución de 1848 el castillo fue saqueado e incendiado, las ruinas se demolieron en 1854.
Décadas más tarde, Luis XV encargó un nuevo puente permanente de piedra, edificado entre 1768 y 1772.
El conde hizo edificar en 1751 un nuevo castillo en orden dórico al arquitecto Jean-Sylvain Cartaud, así como crear jardines aterrazados que llegaban a las orillas del Sena.
El castillo de Villiers, por su parte, fue cedido al príncipe Kourakin, embajador ruso.
Asimismo, a pesar de su poética localización, Neuilly presentaba otros inconvenientes, como el pequeño tamaño del parque, la incómoda distribución del castillo, las alas de servicio mal comunicadas por estrechos y largos pasajes que servían también a otras propiedades o la lejanía entre ambos castillos.
Durante la Revolución de 1830, Luis Felipe y su familia se encontraban veraneando en Neuilly.
La Revolución de 1848 obligó al rey Luis Felipe I a abdicar y a huir del país junto con su familia, al tiempo que el palacio de las Tullerías era saqueado por una muchedumbre.
La misma surte corrieron las residencias privadas del monarca, el Palais-Royal y Neuilly, atacadas con más saña y casi destruidas por completo al no considerarse parte del patrimonio nacional francés.
No fue hasta el viernes 25, cuando, tras la pacificación de París, los desórdenes se trasladaron a las afueras.
Con el incendio devastando Neuilly, varios empleados, gente humilde y alumnos de la École polytechnique enviados por el Gobierno provisional se esforzaron por salvar lo que pudieron, como cuadros, libros raros y la argenterie.
A medianoche los techos del castillo se hundieron, mientras a lo lejos una columna de humo indicaba que el cercano castillo de Villiers también había sido incendiado.
Durante toda la noche, las bodegas fueron el escenario de orgías y excesos.
La única ala que sobrevivió del castillo de Neuilly, el llamado Pavillon de Madame Adélaïde en referencia a la princesa Adelaida (hermana del rey), fue ocupado por varias instituciones, entre ellas un pensionado y un taller para muchachas pobres.