Zamek zbudowany około 1240 r. przez władców Weißenstein i był przez nich zamieszkały do 1295 r.  W następnym okresie kilkukrotnie wzmiankowano zamek, który często zmieniał właścicieli feudalnych. Lordowie Weißenstein byli w związkach lennych z margrabiami Badenii. Innymi lennikami po 1444 r. byli lordowie Kaltental, lordowie Ehingen i lordowie Neuhausen. Pod koniec XVI wieku zamek był w posiadaniu Martina von Remchingen.

W 1649 r. zamek został zakupiony przez mieszczanina, który oficjalnie wykorzystywał go jako kamieniołom. W tym czasie resztki zamku stanowiły mały, rozciągniętym trapezoidalnie kompleksem z pozostałościami dawnego czteropiętrowego budynku mieszkalnego. Używanie ruin jako kamieniołomu został przerwane dopiero w 1855 r., kiedy pozostałości zostały kupione przez Badenię. Stało się tak prawdopodobnie z inicjatywy inżyniera Ludwiga Naehera, który był bardzo mocno zaangażowany w ochronę zabytków.