Questa ristrutturazione fu lunga e laboriosa (1642-1727) perché vennero inglobati diversi palazzi adiacenti a quello originale. I padri Somaschi abbandonarono il convento nel 1772 in seguito al decreto della Repubblica Veneta che soppresse diverse istituzioni religiose.

L’edificio venne quindi acquistato dalla città nel 1774 per farne prima una scuola e poi un archivio.

Nel 1940 divenne (ed è tutt’ora) una delle sedi (insieme a Palazzo Costantini e Palazzo Cordellina) della biblioteca civica, chiamata Bertoliana dal nobile Giovanni Maria Bertolo che per primo, nel 1696, donò alla città 9.000 volumi per fondare una biblioteca.

La struttura, essendo formata dall'unione di più palazzi, presenta notevoli dislivelli con un cortile centrale nato sull'antico chiostro quadrato del convento. Nell'edificio sono presenti alcuni dipinti e sculture, una balaustra in ferro battuto, appartenuta in origine al Teatro Verdi della città, un pregevole pavimento settecentesco nella sala capitolare del soppresso convento e alcune celle monastiche al secondo piano dell’ala sud.