Il nome deriva da Ser Ugo da Casale, signore di molte proprietà dalla zona. Nel ‘500 subisce un visibile restauro della facciata con il rimaneggiamento del portale archivoltato e della finestra con arco e balaustra lapidea al piano nobile. La villa, con due ordini di finestre in stile romanico, presenta un ciclo di affreschi del ‘400 di soggetto astrologico e stagionale che sembrano rimandare al Palazzo della Ragione di Padova.

La tradizione popolare vuole che questo edificio fosse collegato da un tunnel segreto a un’altra dimora.

La villa è oggi sede della biblioteca comunale e ospita anche eventi e manifestazioni.