Původně se vlastně jednalo o klášter augustiniánek z roku 1240, později spravované  dominikány, po několika požárech a „zpustnutí“ byl  v roce 1578 převeden do majetku jezuitům. Ti zde v   místech dnešních ulici Jezuitská, Beethovenova a Mozartova  vybudovali nový areál kolejí, kostela, gymnázia a semináře. Po zrušení řádu zde byla umístěna kasárna. Celý areál zabíral mnoho místa a v rámci celkové asanace města byl v roce  1904 zbourán. Ponechán byl pouze kostel a portál vstupu do paláce.