Em 17 de Abril de 1555, foram abertos os primeiros sulcos e lançada a primeira pedra pelo primeiro Bispo fundador, São Francisco de Borja, Comissário Geral de Espanha. A escritura de fundação data de 12 de Novembro de 1555. O local escolhido para a construção foi a zona noroeste da cidade, junto à antiga fortaleza. A planta do Colégio apresenta-se como um conjunto de edifícios em forma de martelo entre os restos, a fortaleza, as muralhas e as ruas tão conhecidas em Plasencia como a Avenida Juan Carlos I, Santa Ana. As obras prolongaram-se até 1556. No Colégio predominam os materiais de alvenaria. O colégio agrupava-se em torno de um pátio interior de duplo piso e aberturas com colunas emparelhadas de estilo serliano, que davam acesso aos dormitórios, biblioteca, refeitório, cozinha e adegas.

No lado noroeste havia um grande pátio ou horta, delimitado pela cerca e pela Torre Lucía. O construtor do Colégio foi o padre Bartolomé de Bustamante, enquanto os mestres pedreiros e carpinteiros eram moradores de Plasencia, formados na construção da Catedral Nova.

Nos seus primeiros anos, Dom Gutierre Vargas de Carvajal, bispo de Plasencia, estabeleceu em Plasencia um verdadeiro centro educativo. O colégio era dirigido por reitores jesuítas, prova disso é a extraordinária biblioteca onde se guardavam livros que, ao longo dos anos, foram considerados peças únicas em Espanha, devido à sua grande importância cultural e científica.

Em 1767, Carlos III expulsou os jesuítas de Espanha. A maior parte dos seus colégios transformaram-se em instituições de caridade. No Colégio de Plasencia, foi criado um Hospital e Casa de Enjeitados do Bispado de Plasencia. Em 1928, a Antigua Casa de la Compañía foi utilizada como centro de saúde até à construção do novo Hospital Psiquiátrico.