Obiekt został wielokrotnie przebudowany. Konstrukcję za pierwszych fundatorów dokończył ród Güntersbergów, ale do dziś w Kaliszu Pomorskim stoi renesansowy pałac, nazywany jednak Pałacem Wedlów. W 2010 roku zakończył się remont budynku, mieści się tu m.in. miejska biblioteka. Pałac otacza urokliwy park z fontanną i repliką kamienia szlifierskiego. Oryginał ukryty jest w lesie. Z obiektem wiąże się ciekawa legenda. Według niej mieszkańcy Kalisza używali go do... szlifowania języków kłamcom. Ta wymyślna kara uczyła prawdomówności i grzeczności.