Le palais épiscopal ou palais de l’évêché, à côté de la cathédrale, a commencé sa construction au XVe siècle par l’évêque Gutierre Álvarez de Toledo (de 1498 à 1506), promoteur de la nouvelle cathédrale. Celui-ci place ses emblèmes sur les deux fenêtres à droite de l’étage supérieur, et de part et d’autre du portail principal.

Au fil des siècles, les différents évêques y ont apporté des modifications, ce qui nous laisse un édifice éclectique avec de nombreux ajouts du XVe au XXe siècle.