Der Bischofspalast oder Bischofspalast neben der Kathedrale wurde im 15. Jahrhundert von Bischof Gutierre Álvarez de Toledo (von 1498 bis 1506), dem Förderer der Neuen Kathedrale, erbaut. Dieser platziert seine Embleme auf den beiden Fenstern rechts im Obergeschoss und auf beiden Seiten des Hauptportals.

Im Laufe der Jahrhunderte haben die verschiedenen Bischöfe Änderungen vorgenommen, was uns ein eklektisches Gebäude mit zahlreichen Ergänzungen aus dem 15. bis 20. Jahrhundert hinterlässt.