El Palacio Episcopal o Palacio del Obispado, junto a la catedral, comenzó su construcción durante el siglo XV por el obispo Gutierre Álvarez de Toledo (de 1498 a 1506), promotor de la Catedral Nueva. Este, coloca sus emblemas sobre las dos ventanas de la derecha del piso alto, y a ambos lados de la portada principal.

A lo largo de los siglos los diferentes obispos han ido realizando modificaciones, lo que nos deja un edificio ecléctico con numerosos añadidos desde el S.XV hasta el XX.