El edificio, construido en 1562 por las monjas, siempre tuvo fines educativos. Ahí fundaron un prestigioso colegio jesuita. Con la expulsión de la Orden en 1759, se estableció allí en 1766, el Seminario Diocesano, de 1853 a 1968 y el Colegio Nacional, desde 1968 hasta 1995 la Escola Preparatória Augusto Moreno.
Renovado en 2004 por el Ayuntamiento de Bragança, aquí están instalados: la Biblioteca Municipal, la Biblioteca de Adriano Moreira, la Academia de Letras de Tras-os-Montes, el Conservatorio de Música, salas de exposiciones y espacio de memoria de la ciudad.