Zamek był dość charakterystyczny, ponieważ jego twórcy musieli dostosować mury do nieregularnego kształtu terenu. Na początku XIV wieku, po śmierci wdowy po Bolku II, zamek przechodzi na własność Czech. Budowla straciła charakter obronny i trafiła w prywatne ręce. Co ciekawe, w XV wieku w zamku zamieszkali rozbójnicy.
Pod koniec tego stulecia zamek został zdobyty i wysadzony. W 1497 roku dokonały tego wojska Macieja Korwina. Warowni już nie odbudowano i od tego czasu zamek popadał w ruinę. Dziś można oglądać jedynie niewielkie fragmenty budowli. Na Rogowcu często pojawiają się archeolodzy, którzy szukają śladów dawnych mieszkańców.
Dojdziemy tam żółtym szlakiem ze schroniska w Andrzejówka, czerwonym Głównym Szlakiem Sudeckim czy szlakiem niebieskim. Z Głuszycy wejście na zamek zajmuje sprawnemu piechurowi koło godziny.
