Tato instituce byla zpočátku umístěna v renesanční budově purkrabství, které se mělo původně stát biskupskou rezidencí. Seminář (v počátcích existence určený jen pro doškolování kněží ) byl založen v 17. století (stavitel Vojtěch Schneider). Později byl dostavován barokně F. Kermerem, modrnizován v detailech až do likvidace v 50. letech 20. století.