Este palacio fue el cuartel general y casa mater de la Casa de los Zúñiga. Fue construido en el siglo XV como edificio fortificado por el recién nombrado por los Reyes Católicos como Duque de Plasencia, Don Álvaro de Zúñiga, casado en segundas nupcias con Doña Isabel de Pimentel.
El Palacio del marqués de Mirabel es el edificio de carácter civil más importante de la ciudad. Fue declarado bien de interés cultural en el año 1977.

Tiene un amplio patio renacentista, construido en dos pisos con arcos de medio punto y decorado con los blasones de la casa nobiliaria Zúñiga-Mirabel.
El palacio de Mirabel se encuentra anexado a la iglesia y convento de Santo Domingo (actual Parador Nacional), mediante un jardín colgante, abierto a la plaza de San Nicolás y decorado con columnas y esculturas romanas procedentes de Cáparra y Mérida. En la parte posterior de la edificación se abre un balcón de estilo plateresco muy destacado, único en la ciudad.