Le 17 avril 1555, les premiers sillons sont ouverts et la première pierre est posée par le premier évêque fondateur, Saint Francisco de Borja, commissaire général d’Espagne. L’acte de fondation date du 12 novembre 1555. L’emplacement choisi pour la construction était la partie nord-ouest de la ville, en bordure de l’ancienne forteresse. Le plan du collège se présente comme un ensemble de bâtiments en forme de marteau entre les vestiges, la forteresse, les murs et les rues bien connues à Plasencia comme l’avenue Juan Carlos I, Santa Ana. Les travaux ont duré jusqu’en 1556. Les matériaux de maçonnerie dominent dans le collège. Le collège était groupé autour d’une cour intérieure avec un double étage et des ouvertures disposées avec des colonnes jumelées dans le style serlien, qui donnait sur les dortoirs, la bibliothèque, le réfectoire, la cuisine et les caves.

Du côté nord-ouest, il y avait une grande cour ou un jardin potager, délimité par la clôture et la Torre Lucía. Le père Bartolomé de Bustamante fut le bâtisseur du collège, tandis que les maîtres maçons et charpentiers étaient des habitants de Plasencia, formés à la construction de la nouvelle cathédrale.

Dans les premières années, Don Gutierre Vargas de Carvajal, évêque de Plasencia, a établi un véritable centre éducatif à Plasencia. Les recteurs jésuites gouvernaient l’école, comme en témoigne l’extraordinaire bibliothèque dans laquelle étaient conservés des livres qui ont été considérés au fil des ans comme des pièces uniques en Espagne, en raison de leur grande importance culturelle et scientifique.

En 1767, Charles III expulsa les Jésuites d’Espagne. La plupart de leurs collèges sont devenus des institutions caritatives. Au Colegio de Plasencia, un hôpital et un foyer d’enfants trouvés de l’évêché de Plasencia ont été créés. En 1928, l’Antigua Casa de la Compañía a été utilisée comme centre de santé jusqu’à la construction du nouvel hôpital psychiatrique.