Pierwsze umocnienia stanęły tu za panowania Bolesława Krzywoustego i przetrwały do 1241 roku, kiedy to najazd tatarski zrównał je z ziemią. Na ich miejscu w połowie XIV wieku zbudowano zamek gotycki – siedzibę rodu rycerskiego Włodków Sulimczyków. Warownia była doskonale wkomponowana w teren: z trzech stron osłaniały ją wysokie skały, a obwód zamykał kamienny mur, wjazd prowadził wąską szczeliną między skałami.

Pierwsza wzmianka o zamku olsztyńskim (wtedy identyfikowanym jako zamek w Przemiłowicach) pochodzi z roku 1306 a zawarta została w aktach drugiego procesu biskupa krakowskiego Jana Muskaty, wytoczonego mu w roku 1306 przez arcybiskupa gnieźnieńskiego, Jakuba Świnkę. Z tego też powodu w 2006 roku obchodzono Jubileusz 700 lecia Zamku Olsztyńskiego.

W XIV wieku na wapiennej skale, w miejscu wcześniejszego, drewniano-ziemnego grodu zbudowana została murowana, gotycka strażnica. Należała ona wówczas do rycerzy Koziegłów herbu Lis.

Strażnicę bardzo szybko rozbudowano do zamku. Warownia została nadana jako lenno Władysławowi Opolczykowi przez Ludwika Węgierskiego, jednak za prowadzenie wrogiej Polsce polityki Władysław Jagiełło odebrał ją. W 1442 roku dobra mirowskie nabył Piotr z Bnina i zapoczątkował rozbudowę zamku. Kontynuowali ją następni właściciele Myszkowscy herbu Jastrzębiec, którzy przenieśli tu swoją siedzibę rodową i zaczęli używać nazwy „z Mirowa”.

Zamek Bobolice został zbudowany przez Kazimierza Wielkiego w połowie XIV w., prawdopodobnie na miejscu wcześniejszej drewnianej budowli. Należał do systemu obronnego warowni królewskich zabezpieczających zachodnią granicę państwa od strony Śląska. W 1370 r. Ludwik Węgierski zaraz po swej koronacji przekazał zamek księciu opolskiemu, Władysławowi Opolczykowi jako nagrodę za popieranie królewskich planów dynastycznych.