Na powierzchni głazu umieszczono kamienną kulę. To według legendy pamiątka z 1656 roku, gdy okolice Nidzicy grabili Tatarzy. Posilającego się przy kamieniu wodza Tatarów miała dosięgnąć kula, wystrzelona z armaty ustawionej na murach miasta. Tak celnym artylerzystą był nidzicki mieszczanin o nazwisku Nowak. Ze względu na niewielki zasięg ówczesnej artylerii było to oczywiście niemożliwe. Jednak kamień do dzisiaj nazywany jest tatarskim, a wioska Tatary.
Według innej wersji tej historii, przywódca tatarski spożywał obiad na wielkim kamieniu, gdy wystrzelona przez obrońców Nidzicy kula armatnia trafiła w stojącą przed nim misę. Zdarzenie to tak zdeprymowało wodza tatarskiego, że zaniechał oblężenia i z całą hordą odstąpił od grodu. Nidzica ocalała.