Původně se vlastně jednalo o klášter augustiniánek z roku 1240, později spravované  dominikány, po několika požárech a „zpustnutí“ byl  v roce 1578 převeden do majetku jezuitům. Ti zde v   místech dnešních ulici Jezuitská, Beethovenova a Mozartova  vybudovali nový areál kolejí, kostela, gymnázia a semináře.