Como parte de la reforma que dio lugar a esta plaza se pensó construir un nuevo palacio episcopal justo enfrente del emplazamiento anterior, en el lugar que hasta entonces ocupaban las llamadas casas del Adelantado, edificadas en su día por los marqueses de Los Vélez y propiedad en aquel momento del marqués de Villafranca.
La construcción del nuevo palacio se inició en junio de 1748, impulsada por el obispo Juan Mateo López, con maestros locales vinculados a Jaime Bort, como Pedro Pagán, José Alcani y Martín Solera, activos en la obras de la fachada catedralicia.
La portada posterior orientada hacia el río Segura está dividida en dos partes en forma de L: el conocido popularmente como Martillo, pensado como mirador al río y sus antiguos jardines y como cierre arquitectónico del paseo del Arenal (actual Glorieta); espacio urbano construido en el XVIII, y la fachada posterior del Palacio, alineada con los otros edificios de la plaza, como el contiguo ayuntamiento.
El segundo cuerpo cuenta con pilastras jónicas que sostienen balcones elegantemente decorados con medallones de obispos y friso rococó.
La ya mencionada capilla del palacio es de planta circular con pilastras corintias y cornisa rococó.