Il Castello di Andraz (Ciastel de Andrac in ladino, Schloss Buchenstein in tedesco) sorge su un grande masso erratico trasportato a valle durante l'ultima glaciazione, in posizione dominante sulla vallata. Fu costruito in un luogo strategico per il controllo delle vie di comunicazione che attraversavano l'area dolomitica. I primi cenni storici sono successivi all'anno 1000, quando il Principe-Vescovo di Bressanone divenne signore della valle di "Buchenstein".
Il castello rimase proprietà di vassalli alle dipendenze del Vescovo fino al 1416, anno in cui il vescovado se ne impossessò completamente. Da allora sino alla secolarizzazione del 1803, il castello fu usato come sede di piccole guarnigioni militari poste sotto il comando di un capitano. Il castello fu utilizzato soprattutto per garantire gli interessi economici del Vescovo, specialmente sul giacimento di ferro acciaioso del "Fursil", nei pressi di Colle Santa Lucia. Nicolò Cusano fu senz'altro l'ospite più illustre del castello: in qualità di Vescovo di Bressanone prescelse la rocca a garanzia della propria incolumità contro il duca Sigismondo per alcuni periodi fra il 1457 ed il 1460.
In seguito alle guerre napoleoniche ed alla chiusura delle miniere, il castello perse la sua rilevanza strategica e, dopo il 1851, fu completamente abbandonato ed andò in rovina.
Grazie ad importanti lavori di restauro ad opera del Ministero per i Beni e le Attività Culturarli-Soprintendenza per i Beni Ambientali ed Architettonici del Veneto Orientale, è oggi possibile visitare il castello.