Z wymienianego w dokumentach z 1228 roku zamku Herrenberg, zbudowanego przez palatyna Rudolfa II z Tybingi, założyciela miasta Herrenberg, zachowały się na Górze Zamkowej jedynie skromne resztki. Od 1807 roku ruinę zamku wykorzystywano do pozyskiwania materiału budowlanego. Na miejscu wcześniejszej prochowni wznosi się obecnie powstała w 1957 roku wieża widokowa. We wcinającej się głęboko w górę części znajdują się jeszcze lochy. Do ówczesnego założenia zamkowego należały zabudowania gospodarcze z dwoma piwnicami, pałac, donżon, wschodni mur kurtynowy i rozległe mury obwodowe. Znakiem miasta jest widoczny z daleka kościół katedralny położony na wysokości Góry Zamkowej.