Budynek, w którym mieści się Muzeum nazywany jest bowiem dość powszechnie Zamkiem Ostrogskich. I jedno i drugie słowo nazwy są jednak mocno mylące. Zamkiem można go nazwać tylko, kiedy się patrzy od dołu, tj. od strony klikumetrowego muru, sprawiającego wrażenie obronnego, zwłaszcza, że posiada on otwory strzelnicze. W rzeczywistości mur ów jest jednak tylko monumentalną podstawą olbrzymiego tarasu, stanowiącego główną atrakcję budowli, bo wychodzącego niegdyś wprost na Wisłę i zapewniającego znakomity widok na jej panoramę. Nie zamek zatem, ale pałac. I z pewnością nie Ostrogskich, bo kasztelan krakowski Janusz Ostrogski był ledwo posiadaczem gruntów, na których pałac stoi, a dowodów na to, że cokolwiek tu wybudował - nie ma. I na dodatek związki tego miejsca z rodziną Ostrogskich kończą się... 400 lat temu.
Nie zamek zatem, a pałac, i nie Ostrogskich, ale Zasławskich, Gnińskich lub Zamoyskich. Pod nazwą Pałac Ordynacki kryją się bowiem związki budowli z ordynatem Tomaszem Józefem Zamoyskim i jego bratem Michałem Zdzisławem, używającymi pałacu w XVIII wieku, podkanclerzy koronny Jan Gniński zamówił pierwsze projekty pałacu u znakomitego architekta Tylmana z Gameren, a książęta Zasławscy przejęli teren od księcia Ostrogskiego...
Dzisiejsze przeznaczenie a Muzeum Fryderyka Chopina jest zaś szczególnie zastanawiające, bo w czasach kiedy wielki kompozytor w Warszawie mieszkał, z całą pewnością w pałacu nie gościł, a co najwyżej na niego spoglądał. I to z trwogą, bowiem wtedy właśnie, jak podają źródła, pałac stał opuszczony, a "w podziemnych jego lochach bandy wszelakiego łotrostwa tak się zagnieździły, że nawet władze policyjne nie mogły im dać rady".
Tu także na początku XIX wieku, po okresie, kiedy budynek służył za lazaret usiłujących dokonać inwazji na Rosję wojsk napoleońskich, w na pół zrujnowanym pałacu mieszkał między innymi niejaki Stefan Wyszotrawka, osobnik, który doprowadził się do bankructwa rozdając codziennie nadobnym pannom w okolicy bukiety kwiatów...
To wówczas też powstała zapewne legenda o szewczyku, który błąkając się po sięgających ponoć Wisły (kilkaset metrów dalej) obszernych lochach pałacu, napotkał tam Złotą Kaczkę, dysponującą pokaźnymi funduszami inwestorkę, której zależało nie na zysku, ale na wielkim obrocie...
Pomnik owej pionierki kapitalizmu do dziś stoi w niewielkiej fontannie na dziedzińczyku poniżej pałacu, niewiele już jednak mając do zaoferowania.
W 1820 roku fatalna opinia wylęgarni rzezimieszków, łupiących bogobojnych mieszczan stała się dla władz nie do zniesienia. Kupił pałac Michał Gajewski sekretarz policji, i ulokował obok niego jatki rzeźnicze, targ i areszt wojskowy... Natomiast potem mieściła się w nim Fabryka Wyrobów Gum Elastycznych niejakiego Józefa Wemmera, szpital choleryczny, przytułek dla zagrożonych moralnie młodzieńców, a nawet wystawa roślin. Dopiero w połowie XIX wieku pałac zaczęto przygotowywać do roli jaką odgrywa dziś - zajęło go Warszawskie Towarzystwo Muzyczne, nazywane konserwatorium.
Dziś pałac stanowi niejako centrum niewielkiej dzielnicy chopinowskiej. W samym pałacu mieści się muzeum, tuż obok Instytut Chopina, a nie opodal Akademia Muzyczna, także jego imienia. Budynek zaś często grywa w filmach, których akcja rozgrywa się w XIX wieku. Niestety, grywa tylko z jednej strony, ponieważ jakiekolwiek inne ujęcie ujawniłoby stojący po drugiej stronie Tamki paskudny falowiec i kładkę dla pieszych, przerzuconą nad ruchliwą ulicą...
