Budowa zamku została zapoczątkowana w XV wieku jako wieżowy dwór obronny. Trzy wieki później zamek został przejęty przez rodzine Tarnowskich i przebudowany. Przez kolejne lata dodano tam system fortyfikacji bastionowych. W latach trzydziestych XIX wieku kompleks został ponownie przebudowany na rezydencję według projektu architekta Franciszka Marii Lanciego.
Tarnowscy zgromadzili w zamku ogromne zbiory dzieł sztuki, bibliotekę i archiwum. Znalazła się tam między innymi słynna kolekcja Tarnowskich a w niej zbiory malarstwa europejskiego z XVI, XVII i XVIII wieku. Była team tez na przykład rękopis Pana Tadeusza autorstwa Adama Mickiewicza.
Zamek pamięta też tragiczne historie. Na oczątku XX wieku okolicę nawiedziły silne mrozy. W ich wyniku zamarzła instalacja wodociągową. Służba zamkowa starała się przywrócić sprawność rur lampami działającymi na benzynę. Pewnej nocy na strychu zatlił się ogień. Płomienie dostrzeżono dopiero około trzeciej nad ranem.
Mieszkańcy i służba, którzy zdawali sobie sprawę z zagrożenia dla bezcennych zbiorów kultury narodowej, które znajdują się w zamkowej bibliotece, starali się je ratować. Przybyła straż pożarna, która z powodu zamarzniętych hydrantów starała się ugasić pożar śniegiem. W konsekwencji uratowano jedynie część bezcennych zbiorów.
W 1931 roku zamek odbudowano. Do roku 2007 mieściło się tutaj Technikum Rolnicze.
W 2011 roku zakończył się gruntowny remont zamku, przystosowujący go do funkcji muzealnej. Wyremontowano piwnice, poddasza i przygotowano sale muzealne.
Dziś oprócz zwiedzania, można tam zajść na chyba najsmaczniejszą kawę w mieście.
