La prima costruzione del castello risale al 12 secolo, arroccata sul fianco sud est della montagna era caratterizzata da un muro perimetrale esterno che in alcuni punti corrisponde tutt’oggi alle mura del castello.
Il corpo di fabbrica poggia su una stretta roccia di porfido rivolta ad ovest che si estende fino alla propaggine a nord. Nel corso della nuova ristrutturazione è tornato alla luce un muro portante con i muri di sostegno di un edificio presumibilmente a torri. Le proporzioni ed un parallelepipedo annesso fanno pensare ad una torre. E’ stata riscoperta anche la cisterna per l’acqua piovana, sistemata a dovere è stata collocata nel seminterrato del palazzo, sopra la cucina.

La costruzione è stata massicciamente modificata tra il 1475 ed il 1541 dai Signori di Fiè, per cui poco rimane del suo aspetto originario. Purtroppo per fare posto alla nuova costruzione e contemporaneamente recuperare del materiale sono stati abbattuti vecchi pezzi di muro. I lavori di ricostruzione sono arrivati per la maggior parte indenni ai nostri giorni. Le coperture della costruzione ad ovest, il padiglione con le doppie arcate nell’ala est e la nuova costruzione dell’ala nord del palazzo sono elementi essenziali per il riconoscimento del maniero. Il muro di difesa è stato eretto nuovamente; delimita e racchiude i cortili anteriore e posteriore. Tutte le sale importanti del castello a tre ali sono state impreziosite con cicli di affreschi.
A causa di un rovinoso crollo avvenuto nel 1880 gli affreschi dell’ala nord sono andati perduti, solo alcuni frammenti hanno potuto essere recuperati nel corso degli ultimi lavori di risanamento. L’ultima ristrutturazione progettata dall’architetto Dietmar Dejori negli anni 2001-2002 ha portato tuttavia al restauro delle ali est ed ovest, dove le doppie arcate, devastate dai crolli del 18 secolo, sono state ricostruite. Per restituire al castello la forma originaria a 3 ali è stata ricostruita la parte nord del palazzo, a suo tempo abbattuta. Tuttavia l’ala nord dei nostri tempi non raggiunge le dimensioni dell’edificio al tempo dei Signori di Fiè. E’ stato anche ampiamente rivalutato il piano interrato valorizzando quelli che una volta erano i cortili esterni. Qui sono stati nuovamente portati alla luce i locali delle cantine interrate e compresi in una grande sala sotterranea in cui è riconoscibile anche la base della presunta torre.