Bývalý minoritský klášter byl založen ve 13. století Švamberky. Později byl nejprve barokně přestavěn, poté zrušen Josefem II. a nakonec byl požáru roku 1791 opuštěn. V současnosti probíhá jeho obnova.
Součástí prohlídky je Křížová chodba s výstavní síní, rajský dvůr, bývalý refektář, torzo kostela sv. Maří Magdaleny. Muzejní expozice se týká mineralogie, archeologie, etnografie a historie dolování stříbra a olova. Obsahuje i sbírky skla, porcelánu, zbraní, nábytku a další.
Při výkopech ve dvoře roku 1953 byly objeveny ostatky 2 císařských generálů zavražděných roku 1634 v Chebu společně s Albrechtem z Valdštejna, který zde byl také několik let pohřben.