Przyziemia zamku biskupów kamieńskich zbudowano w stylu gotyckim w końcu XII wieku. Zamek wzniesiono na planie czworoboku o wymiarach 11 x 35 metrów. Istniejące fragmenty dawnego zamku składają się z czterech pomieszczeń. Dwa z nich posiadają zachowane sklepienia gwieździsto-żebrowe. Ściany działowe posiadają zachowane otwory drzwiowe. W ścianie między dużymi salami zachowało się przejście z zdobnym obramowaniem i dwustronny kominek gotycki. W elewacji północno-wschodniej znajdują się ślady otworów okiennych i dwóch portali. W czasie wykopalisk stwierdzono istnienie murów okalających zamek.

W 1409 r. Karlino zostaje spalone; od klęski po części uchroniła zamek otaczająca woda i skuteczna obrona. Jednak w 1481 r. całe miasto i zamek zostały spalone przez mieszczan kołobrzeskich i koszalińskich. Po zapłaceniu odszkodowania przystąpiono do odbudowy zamku, jego rozbudowę kontynuowano aż do 1575 r.

Kolejni biskupi stworzyli w zamku piękną renesansową rezydencję. Prawdopodobnie wtedy powstało założenie trójskrzydłowe, na planie regularnym, trójkondygnacyjnego budynku, którego boczne skrzydła zwieńczone zostały szczytami. Przypuszcza się, że zamek zajmował powierzchnię 50 x 50 metrów, a przedzamcze 50 x 100 metrów. Wygląd ówczesnego zamku można zobaczyć na mapie Lubinusa.

W latach 1602–1618 biskup Franciszek I dalej rozbudowuje i uświetnia zamek. W 1761 roku, podczas wojny siedmioletniej, zespół zamkowy popada w ruinę i ulega spaleniu. Ruiny zostały rozebrane do przyziemia, tak że ocalała tylko najniższa kondygnacja skrzydła głównego zamku, z zachowanymi sklepieniami gwiaździstymi. Zasypano fosę oddzielającą zamek od miasta i zniszczono dawne zabudowania.

W późniejszym czasie na piwnicach wzniesiono królewski browar a XIX-wieczna zabudowa zatarła ślady po bogatym dawniej zamku biskupim.