Zamek Hirschhorn został założony w 1260 roku przez Johanna von Hirschhorn, który od 1270 roku przyjął nazwę od nazwy zamku. Był on prawdopodobnie wnukiem (ewentualnie synem) ze związku małżeńskiego pomiędzy Edelherren von Steinach i ministeriałów von Hirschberg (zamek położony w Leutershausen an der Bergstraße). Od strony babki został także przyjęty herb z rogiem jelenia i nazwa dla nowego zamku (Hirschhorn – (niem.) jeleni róg). Możliwe też, że zamek założył ojciec Johanna von Hirschorn – Konrad Rind von Steinach, około 1250 roku. O starszym założeniu zamkowym w tym miejscu nie ma żadnych dowodów. Wraz z rozwojem politycznym i gospodarczym szlachty von Hirschhorn w XIV w. zamek został rozbudowany i poszerzony. swój ostateczny kształt otrzymał pod koniec XVI w. po przebudowie na pałac w stylu renesansowym. Ten zbudowany w większej części z piaskowca zamek, został w czasach nowożytnych oszczędzony od systematycznej rozbiórki i zachował się w bardzo dobrym stanie.

Zamek miał w całej swojej historii następujących właścicieli:

• od 1260-1632 – szlachtę von Hirschhorn, lennicy najpierw Lorsch, potem jako Kurpfalz
• 1632-1699 Kurmainz; jako lenno baronów Raitz von Frentz i szlachty von der Recke
• 1699-1803 siedziba urzędu Kurmainz
• 1803-1918 Wielkie Księstwo Hesji-Darmstadt (siedziba urzędu)
• 1918-1945 Ludowa Republika Hesji
• Od 1949 roku – kraj związkowy Hesja