W średniowieczu był obronną warownią należącą do książąt opolskich. W XVI i XVII wieku przekształcano go w pałac. W sierpniu 1638 roku gościł tu król Polski Władysław IV Waza, a w 1655 roku przechowywano w zamku Obraz Matki Bożej Jasnogórskiej. Ojcowie Paulini przywieźli tu obraz przed Potopem Szwedzkim w obawie przed Szwedami. Nie wiadomo dokładnie, jak długo był tu przechowywany. Zanim jednak powstał tu hotel zamek był również siedzibą sądów i szpitala psychiatrycznego. Później stopniowo popadał w ruinę. Trzeba było 5 lat, by go odbudować.
