Miał wielu właścicieli, ale najciekawszą postacią wśród nich okazał się książę Marcin Lubomirski, który władał tu w XVIII wieku. I o, którym tu było bardzo głośno.
Lubomirski zresztą chyba starał się o to jak mógł. Bo raz trafił do więzienia, innym razem był dezerterem, potem rozbójnikiem, w końcu walczył w wojsku pruskim, wziął też udział w konfederacji barskiej. Ba, zarządzał nawet teatrem warszawskim czy zajmował wysokie stanowiska za panowania Stanisława Augusta Poniatowskiego. Najbardziej jednak był znany z zamiłowania do hazardu. I ten hazard go zgubił. Namiętnie grywał w karty, głównie w Faraona, to taka dawna odmiana Makao i jako, że zawsze grał uczciwie, stąd zwykle przegrywał. Stracił w końcu cały majątek a przy okazji i zamek w Janowcu.
Nowym właścicielem został Mikołaj Piaskowski, który zresztą niedługo potem też się doszczętnie spłukał, doprowadzając zamek do ruiny. To, że hazard rujnuje wszyscy wiemy, ale tu w Janowcu hazard zrujnował niestety i piękny Zamek. Oby życzliwsze były dla niego, nowe karty historii. Obecnie zabytek należy, bowiem do Muzeum Nadwiślańskiego i choć co prawda stopniowo, ale jest remontowany.