Pierwotny drewniany zamek powstał w 1157 roku zbudowany przez księcia Władysława II Wygnańca. Murowany z cegły zamek na planie rombu wybudował na początku XIV w książę oleśnicki Konrad I. Zamek połączony był z fortyfikacjami miejskimi, a wieża bramna znajdowała się poza murami. W 1524 roku właścicielami zostali książęta legniccy. Około 1568 roku z inicjatywy księcia Jerzego II nastąpiła przebudowa w stylu renesansowym. Dostawiono wówczas do wieży duży budynek a dziedziniec otoczono murem. Dobudowano również skrzydło zachodnie i arkady na parterze wzdłuż istniejącej zabudowy. W czasie wojny trzydziestoletniej zamek uległ uszkodzeniu. Zniszczył go także pożar na początku XVIII w. W latach 1714–1725 dokonano jego odbudowy. Po następnym pożarze w 1781 roku rozebrano wieżę. W latach dwudziestych XX w. nastąpiła przebudowa w czasie której nadano mu obecny kształt.