W XIV wieku na wapiennej skale, w miejscu wcześniejszego, drewniano-ziemnego grodu zbudowana została murowana, gotycka strażnica. Należała ona wówczas do rycerzy Koziegłów herbu Lis.
Strażnicę bardzo szybko rozbudowano do zamku. Warownia została nadana jako lenno Władysławowi Opolczykowi przez Ludwika Węgierskiego, jednak za prowadzenie wrogiej Polsce polityki Władysław Jagiełło odebrał ją. W 1442 roku dobra mirowskie nabył Piotr z Bnina i zapoczątkował rozbudowę zamku. Kontynuowali ją następni właściciele Myszkowscy herbu Jastrzębiec, którzy przenieśli tu swoją siedzibę rodową i zaczęli używać nazwy „z Mirowa”.