Na początku XVII wieku zamek spłonął wraz z częścią miasta. Odbudowano go, ale w czasie potopu szwedzkiego znowu został zniszczony. Ostatecznie warownia została odbudowana w latach 50. ubiegłego wieku.
Z zamku bardzo blisko jest do pałacu Mieroszewskich - kolejnego ważnego zabytku w Będzinie. Korzenie pałacu sięgają początku XVIII wieku.
