Zamek został założony około 1200 roku przez hrabiów Calw jako kasztelania. W 1345 roku wszedł w posiadanie hrabiów Wirtembergii. Po napadzie Schleglerbundes na hrabiego Eberharda II Wirtemberskiego w Wildbad znalazł on tutaj schronienie w trakcie ucieczki. W 1367 roku nadał on miejscowości prawa miejskie. W 1616 roku książę Johann Friedrich przeniósł władzę z Zavelstein do Buwinghausen von Walmerode, i zaczął w ten pałac inwestować. Francuskie wojsko pod dowództwem generała Mélac zniszczyło zamek w 1692 roku.

Dawny zamek Hohenstaufów zawiera w sobie jeszcze fragmenty późnoromańskie. Zachowały się obydwie fosy, brama, ruina palatium, sklepienia piwniczne, części muru kurtynowego jak również inne resztki murów obwodowych, międzymurza i wysoki na 28 metrów donżon.