Ród Hohenzollern po raz pierwszy został wspomniany w 1061 roku. W roku 1267 wymieniona została ich siedziba Castro Zolre, której wygląd, rozmiar i wyposażenie pozostaje nieznane. Przypuszcza się, że zamek został wybudowany już w pierwszej połowie XI wieku. W tym czasie musiał już być urządzony bogato i z przepychem. W współczesnych mu źródłach opisywany jest jako „korona wszystkich zamków w Szwabii” i chwalony jako „das vesteste Haus in teutschen Landen”. W 1423 roku został jednak całkowicie zniszczony.

Od 1454 roku powstaje drugi zamek Hohenzollern, większy i bardziej przygotowany do obrony. Później w czasie wojny trzydziestoletniej zamek został natychmiast przekształcony w twierdzę, mimo to wielokrotnie zmieniał właścicieli. Na zamku nie prowadzono jednak potrzebnej konserwacji w wyniku czego znacznie podupadł tak, że na początku XIX w. pozostawał już ruiną.

W roku 1819 następca tronu Friedrich Wilhelm von Preussen postanowił odbudować siedzibę rodową domu Hohenzollern. Później, jako król Friedrich Wilhelm IV. napisał w liście z 1844 roku: „Wspomnienie z roku 19 jest niezmiernie miłe i jak piękny sen, zwłaszcza zachód słońca, który żeśmy z zamkowego bastionu widzieli, …teraz mam jedno młodzieńcze marzenie – pragnienie, by Hohenzollern zobaczyć znowu zamieszkałym…”

Od 1850 roku rozpoczął urzeczywistniać swoje pragnienia i stworzył jeden najbardziej imponujących zamków Niemiec w stylu nowogotyckim. Składa się on z wielu wież i budowli obronnych, będąc arcydziełem architektury wojennej XIX wieku. Uzupełnienie go cywilnymi elementami architektonicznymi nadało mu szczególny urok. Położenie zamku na najpiękniejszej górze Szwabii jest bardzo malowniczym zjawiskiem.

Książę Prus Ludwik Ferdynand zostawił zamek w 1952 wraz z artystycznie cennymi i znaczącymi dla historii Prus przedmiotami oraz królewskimi klejnotami. Szczególna uwaga, obok obrazów wybitnych malarzy (Honthorst, Pesne, von Werner, von Lenbach, Laszlo), należy się złotym i srebrnym wyrobom z XVII i XIX wieku.

Trzęsienia ziemi w roku 1970 i 1978 spowodowały znaczne uszkodzenia. Wszystka prace konserwacyjne, rozbudowy i przebudowy na zamku muszą być samofinansowane.