W XII wieku wzniesiono murowany zamek, który stał się centrum państewka von Pannwitzów. W 1428 roku został zdobyty przez husytów i stał się ich główną siedzibą na terenach obecnej ziemi kłodzkiej. Sześć lat później odbili go najemnicy z Wrocławia i Świdnicy. Później władali nim rycerze-rabusie, którzy ostatecznie zostali rozbici przez wojska cesarskie. Od 1560 roku zamek pozostaje opuszczony i popada w ruinę.
