La prima attestazione risale al 1220. Alcuni elementi strutturali sono tramandati da due documenti datati 1270 e 1277, un palazzo, una torre all’estremità della fortificazione (verso il dosso del Tegazzo), una casa per le guardie e una torre in rovina.

Nel corso del ‘900 si è diffusa la leggenda della Dama Bianca; fantasma di una castellana.

Altri misteri circondano luoghi più sinistri: nella prigione della goccia i condannati sedevano immobilizzati sotto il lento stillicidio dell’acqua, nel sotterraneo del torrione le vittime erano fatte precipitare su coltelli affilati, le segrete della torre rotonda servivano da stanza delle torture.

Diffuse sono inoltre le voci circa l’esistenza di lunghe gallerie che percorrono il colle e raggiungono il castello.

Nel 2018 la Fondazione di partecipazione Castel Pergine Onlus ha acquistato il castello tramite un’iniziativa comunitaria di raccolta fondi. Impegnata nella sua tutela e nella manutenzione, lo gestisce e valorizza anche come centro di conoscenza, cultura e ospitalità, modello di turismo sostenibile.”