El 17 de abril de 1555 se abrieron los primeros surcos y se colocó la primera piedra por el primer Obispo fundador, San Francisco de Borja, Comisario General de España. La escritura de fundación data de 12 de noviembre de 1555. El lugar escogido para construir el edificio fue la parte noroeste de la ciudad, lindando con la antigua fortaleza. El plano del Colegio se muestra como un complejo de edificaciones en forma de martillo entre los restos, fortaleza, murallas y calles tan conocidas de Plasencia como la Avenida Juan Carlos I, Santa Ana. El trabajo se prolongó hasta 1556. En el Colegio dominan los materiales de mampostería. El colegio se nucleaba en torno a un patio interior con doble piso y vanos dispuestos con columnas pareadas al modelo serliano al que daban los dormitorios; biblioteca, refectorio, cocina y bodegas.
Al lado noroeste se proyectaba un amplio corral o huerta, limitado por la Cerca y La Torre Lucía. El constructor del Colegio fue el Padre Bartolomé de Bustamante, mientras que los maestros canteros y carpinteros fueron vecinos de Plasencia, formados en la construcción de la Nueva Catedral.
En sus primeros años, Don Gutierre Vargas de Carvajal, Obispo placentino, formó en Plasencia un verdadero centro docente. Rigieron el colegio rectores jesuitas, prueba de ello la extraordinaria biblioteca en la que se custodiaban libros en los que se han considerado a lo largo de los años piezas únicas en España, por su gran importancia cultural y científica.
En 1767, Carlos III expulsó a los jesuitas de España. La mayoría de sus colegios se convirtieron en instituciones benéficas. En el Colegio de Plasencia se estableció un Hospital y Casa de niños expósitos del Obispado de Plasencia. En 1928, la Antigua Casa de la Compañía se destinó a Casa de Salud, hasta la construcción del nuevo Hospital Psiquiátrico.