Alla fine del XVIII secolo tale struttura era quasi in rovina tanto che venne demolita. Il nuovo Monte di Pietà venne quindi progettato dall'ingegnere Luigi Benini, sempre in centro storico, inglobando però anche casa Colonna, palazzo del XVI secolo. I lavori terminarono nel 1826. 

Nel 1869, su disegno dell'ingegnere Michele Fapanni, vennero aggiunti al palazzo la casa del custode e due ali laterali con funzione di magazzini dei pegni, chiudendo quindi la corte interna. L'edificio venne acquistato dal Comune nel 1941, rimanendo sede del Monte di Pietà ancora per un anno. Il palazzo subì poi diversi restauri diventando sede della biblioteca comunale nel 1965.