Pierwsze umocnienia stanęły tu za panowania Bolesława Krzywoustego i przetrwały do 1241 roku, kiedy to najazd tatarski zrównał je z ziemią. Na ich miejscu w połowie XIV wieku zbudowano zamek gotycki – siedzibę rodu rycerskiego Włodków Sulimczyków. Warownia była doskonale wkomponowana w teren: z trzech stron osłaniały ją wysokie skały, a obwód zamykał kamienny mur, wjazd prowadził wąską szczeliną między skałami.

XVI-wieczna przebudowa, gdy właścicielami zostali krakowscy Bonerowie, przekształciła zamek w renesansową rezydencję. Warownia składała się z rozbudowanego, trzywieżowego zamku górnego oraz obszernego przedzamcza. Następnie zamek przechodził w ręce Ligęzów oraz Firlejów. W 1655 roku podczas potopu szwedzkiego zamek został zdobyty przez wojska szwedzkie, które stacjonowały w nim prawie dwa lata, rujnując znaczną część zabudowań. W 1702 roku również nie oparto się szwedzkiemu szturmowi. Pożar strawił wówczas ponad połowę zamku. Praktycznie nie podjęto już jego odbudowy. Ostatni mieszkańcy opuścili zrujnowaną warownię około 1810 roku.

Po II wojnie światowej postanowiono zadbać o zachowanie zamku w formie trwałej ruiny. Prace konserwatorskie przeprowadzono w latach 1949-1973, a ich efekty możemy podziwiać do dziś.