Zamek Osterstein jest dawniejszym pałacem miejskim miasta Zwickau. Po raz pierwszy wzmiankowany w 1292 roku jako „Castrum Czwickaw”. Uszkodzony w czasie pożaru miasta w 1403 roku, ulegał zniszczeniu w latach 1404-07. Odbudowany przez margrabiego Wilhelma I. W latach 1587-90 przebudowany przez elektora Christiana I na styl renesansowy.
W XVIII w. pałac został przebudowany na więzienie o podwyższonym rygorze, które funkcjonowało z przerwami do końca II wojny światowej. Odbywali tu karę m.in. więźniowie polityczni. Zakład karny zakończył działalność 31 grudnia 1962 roku po 187 latach działalności. W później dobudowanym budynku przy Dr. Friedrichs-Ring funkcjonował zakład pralniczy. W arsenale mieściło się także archiwum, a różne przedsiębiorstwa wykorzystywały go jako magazyn. Część budynków została zniszczona.
Podczas II wojny światowej rząd niemiecki utworzył na zamku obóz koncentracyjny KL Flossenbürg i obóz pracy.
Od lat 80 XX wieku zamek zaczął niszczeć w oczach. Plany odbudowy i wykorzystania zamku z lat 1990-2000 nie doszły niestety do skutku. Pałac jest zakałą północnego śródmieścia miasta Zwickau. Po 2000 roku podjęto niezbędne pracę zabezpieczające.

3 listopada 2006 roku położono kamień węgielny pod odbudowę pałacu. Będzie on odrestaurowany i zaadaptowany na zakład opiekuńczy. Część pomieszczeń będzie wykorzystana jako muzeum i na potrzeby gastronomii. 9 września 2007 roku postawiona na budynku wiechę. Otwarcie przewidziane jest na 2009 rok.