Il primo nucleo di una fortificazione si presume risalga addirittura al I secolo d.C., quando i Romani stavano consolidando la loro influenza sulla Valbelluna.

Ricostruito nel 1311 da Rizzardo da Camino, signore di Treviso, Belluno e Feltre, il castello cadde successivamente in rovina. Con l'arrivo della Serenissima e delle armi da fuoco, le fortificazioni di Zumelle divennero di fatto inutili.

Il maniero, che si erge sulla cima di un colle a strapiombo sul corso del torrente Terche,  venne restaurato negli anni '60 e oggi è il meglio conservato di tutta la Valbelluna. Solo le fortificazioni periferiche sono andate completamente distrutte. Il nucleo centrale, con tanto di mura e di torre, è cinto da un profondo fossato, scavato nella roccia. Si accede al castello e alla piccola corte interna attraverso una strada che si arrampica lungo il pendio. La torre, alta 36 metri, è a pianta quadrangolare e presenta cinque piani, collegati da una scala in legno. Sul lato nord delle mura, si trova l'antica chiesetta dedicata a San Lorenzo.