Wybudowali go pierwsi właściciele miasta - Firlejowie- pierwotna nazwa miasta brzmiała Lewartów- od ich herbu "Lewart". Sanguszkowie, którzy nastali później, zmienili nazwę na Lubartów- z kolei od Lubarta - protoplasty ich rodu. Rozbudowali pałac do obecnych rozmiarów- to piękny 3 piętrowy budynek, ze wspaniałym parkiem. Niestety nie był oszczędzany przez różne zawieruchy - oryginalną architekturę możemy podziwiać tylko na zewnątrz i w jedynej zachowanej w oryginalnie sali rycerskiej.
