Historia niewiele mówi o średniowiecznym zamku w Górze. Nie jest znany ani jej założyciel, ani późniejsi właściciele. Pierwsza wzmianka o mieście pochodzi z 1155 r. z bulli papieża Hadriana IV. Lokacji miasta dokonał książę Henryk III głogowski około 1288 r. Od 1319 r. Góra należała do Piastów Śląskich z linii ścinawskiej. Od końca XIV w. stała się własnością Piastów cieszyńskich, którym to właśnie przypisuje się budowę murowanej siedziby. Zamek włączony był w obwód obwarowań miejskich, zbudowany był na planie czworoboku z kolistymi basztami umieszczonymi w narożnikach. W 1491 r. właścicielem Góry był Jan Olbracht, późniejszy król Polski. Średniowieczne mury miejskie okalające miasto zostały częściowo rozebrane, a fosa zasypana w 1770 r. W ich miejscu powstały ogrody.