Am 17. April 1555 wurden die ersten Furchen gezogen und der erste Stein wurde vom ersten Gründungsbischof, dem Heiligen Francisco de Borja, Generalkommissar von Spanien, gelegt. Die Gründungsurkunde stammt vom 12. November 1555. Als Standort für das Gebäude wurde der nordwestliche Teil der Stadt gewählt, der an die alte Festung grenzt. Der Plan des Kollegs zeigt einen hammerförmigen Gebäudekomplex zwischen den Überresten, der Festung, den Mauern und den Straßen, die in Plasencia als Avenida Juan Carlos I, Santa Ana bekannt sind. Die Arbeiten dauerten bis 1556. Im Kollegium dominierten Mauerwerksmaterialien. Das Kollegium gruppierte sich um einen Innenhof mit doppeltem Boden und Öffnungen, die mit gepaarten Säulen im serlianischen Stil angeordnet waren und zu den Schlafsälen, der Bibliothek, dem Refektorium, der Küche und den Kellern führten.

An der Nordwestseite befand sich ein großer Hof oder Gemüsegarten, der von einem Zaun und dem Torre Lucía begrenzt wurde. Der Erbauer des Kollegs war Pater Bartolomé de Bustamante, während die Steinmetz- und Zimmermannsmeister aus Plasencia stammten und beim Bau der Neuen Kathedrale ausgebildet worden waren.

In den ersten Jahren richtete Don Gutierre Vargas de Carvajal, Bischof von Plasencia, in Plasencia ein echtes Bildungszentrum ein. Jesuitenrektoren leiteten die Schule, wovon die außergewöhnliche Bibliothek zeugt, in der Bücher aufbewahrt wurden, die im Laufe der Jahre aufgrund ihrer großen kulturellen und wissenschaftlichen Bedeutung als Unikate in Spanien angesehen wurden.

Im Jahr 1767 vertrieb Karl III. die Jesuiten aus Spanien. Die meisten ihrer Kollegs wurden zu karitativen Einrichtungen. Im Colegio de Plasencia wurde ein Krankenhaus und ein Findelhaus des Bistums Plasencia eingerichtet. Im Jahr 1928 wurde die Antigua Casa de la Compañía bis zum Bau des neuen Psychiatrischen Krankenhauses als Gesundheitszentrum genutzt.