L'edificio è stato costruito da Ezzelino da Romano nel 1242 con due torri di vedetta e l'imponente mastio di 38 metri di altezza. La struttura negli anni è stata utilizzata per gli scopi più diversi fino a quando il Comune, ultimo proprietario del complesso, ne ha promosso nel 1996 un restauro.
Il complesso monumentale del Castello è stato quindi destinato ad uso pubblico ed ospita ora la Biblioteca, intitolata al prof. Francesco Gambarin, docente, preside e sindaco della città, il Centro di Studi sui Castelli, l'Archivio Storico Comunale, il Museo Civico, il Centro Congressi e Mostre, l'Ufficio Turistico nonché l’Arena estiva Martinelli - Pertile.