ruiny wznoszą się na stromym wzgórzu. Ruiny to resztki ścian z regularnie rozmieszczonymi oknami, zachowanymi do wysokości drugiego piętra. Stanowią one pozostałości zamku dolnego - najdłużej użytkowanego, wzniesionego w stylu renesansowym. Na szczycie skały znajduje się zamek górny - starszy i bardziej zniszczony.
Pierwszy zamek powstał zanim Kazimierz Wielki ufundował murowaną budowlę spełniającą rolę strażnicy.
Gdy Rabsztyn został siedzibą starostwa niegrodowego właścicielami Rabsztyna zostali Rabsztyńscy i Bonerowie. Na przełomie XVi i XVII w. Mikołaj Wolski i Zygmunt Gonzaga Myszkowski stworzyli tu rezydencję renesansową. Podczas Potopu Szwedzkiego zniszczono skutecznie górny, zaś dolny zdołał się podnieść z ruin i odbudowany jako pałac funkcjonował jeszcze w początkach XX w.Od 1990 r. kiedy zamek stał się własnością gminy Olkusz, odgruzowano piwnicę pod bramą wjazdową i naprawiono jej sklepienie, uzupełniono i odtworzono część murów, wybudowano drewniane mosty nad fosą i przed bramą, a także odbudowano węzeł bramny i wykonano zabezpieczenie konstrukcyjne murów zamku. W pomieszczeniu na piętrze ekspozycję poświęconą
historii zamku.
W latach 2012-14 zrekonstruowano część murów zamku górnego i wieży, gdzie powstał taras widokowy.Dla zbieraczy Znaczków Turystycznych jest ZT 586.
Źródło:
*Polska na weekend. Bielsko-Biała, 1999. 462-463 s.* ulotka informacyjna
