Castello di Lazise venne poi restaurato ed ampliato con le mura di cinta da Cansignorio della Scala nella seconda metà del XIV secolo per rafforzare i confini occidentali dei suoi territori, le mura erano fornite di sei torri e tre porte con saracinesca e ponte levatoio, porta San Zeno ad est, porta Lion a sud e porta Nuova o “Cansignorio” a nord, aggiunta in seguito dagli Scaligeri. Il castello che era andato in rovina, venne restaurato verso la metà del XIX secolo da Giovanni Battista Buri che lo inserì in un parco che ne risaltò l’ aspetto medioevale romantico. Delle sette torri allora presenti, il Torrazzo è l’ultima rimasta, e fu trasformata nel 1777 in torre campanaria e successivamente in cappella funeraria privata. Quella che era invece la Torre del Cadeno, posta a fianco della Dogana per proteggere l’entrata del porto vecchio, venne abbattuta per innalzare il monumento ai caduti.