Był on później kilka razy przebudowywany, między innymi pod okiem sławnego włoskiego architekta i rzeźbiarza Santi Gucciego. Uroku zamku nie docenili praktyczni Szwedzi, którzy wysadzili go w powietrze w połowie XVII wieku. Zostało tylko jedno skrzydło, dzisiaj mieści się tu muzeum.
Ale zamek to nie jedyna pamiątka po Kazimierzu Wielkim na tych terenach. Nieopodal, w ogrodzie benedyktynek, koło kościoła świętego Michała, dokładnie sto lat temu wykopano koronę, która niegdyś należała do króla Kazimierza. Dziś można ją podziwiać w skarbcu królewskim na Wawelu. Jest ona specyficzna, nazywana hełmową, zakładał ją król na zbroję. Miała cztery zawiasy, co umożliwiało jej szybki demontaż. No i wykonana była z miedzi, a wysadzana szkiełkami, imitującymi drogie kamienie. Materiały z których ją wykonano nie są może najcenniejsze - ale najważniejsze jest to, że jej właścicielem był Kazimierz Wielki.