L’attuale struttura risale all’inizio del XIV secolo, quando venne edificata in luogo di una precedente costruzione difensiva che avrebbe dovuto sorgere nei pressi della chiesa dedicata ai santi Nazario e Celso. Era infatti consuetudine che le fortificazioni altomedievali della pianura bergamasca venissero costruite a fianco di edifici sacri, allora al centro della vita popolare. E, come gran parte dei castelli di quel periodo, venne abbandonato e riposizionato poco distante tra la fine del XIII e l’inizio del XIV secolo nella prima area edificabile libera ai margini del centro abitato. La necessità di un castello difensivo era dovuta alla forte instabilità politica nell’età medievale del borgo di Pagazzano e di tutta la pianura centrale bergamasca: dapprima assegnato ai conti di Bergamo nell’XI secolo, passò a Milano dopo la pace di Costanza, unitamente agli altri castelli della Gera d'Adda. Il dominio nella città milanese venne esercitato prima dai Torriani e, dopo numerose lotte, dai Visconti. Castello di Pagazzano Furono proprio questi ultimi ad edificare il nuovo castello durante la reggenza di Giovanni, alla morte del quale (1354) subentrò Bernabò. A quel periodo risale una lapide che, posta all’interno del maniero, ricorda un ricevimento (forse il primo nella nuova struttura) in onore di Filippo Borromeo avvenuto nell’anno 1355. La tradizione vuole inoltre che nelle stanze dell’edificio dimorò per qualche tempo il poeta Francesco Petrarca il quale intercesse presso Bernabò al fine di preservare e migliorare la struttura stessa del castello. Nel corso del XV secolo Gian Galeazzo Visconti diede il castello prima a Bertolino Zamboni di Cremona, poi alla famiglia Suardi. Il successivo insediamento di Filippo Maria Visconti portò nuovamente il castello alla famiglia cremonese degli Zamboni, che ne mantennero il possesso fino al 1428, anno in cui i territori vennero acquisiti dalla Repubblica di Venezia. Cominciò un periodo di fortissima instabilità, con la zona contesa da Milano e Venezia: in quegli anni il maniero venne affidato prima a Sagramoro, appartenente al ramo di Brignano dei Visconti, e poi a Francesco de’Isacchi di Treviglio. Nel 1447, con l’instaurazione a Milano della Repubblica Ambrosiana, la Gera d’Adda passò nuovamente alla Serenissima, ed il castello di Pagazzano venne nuovamente assegnato al ramo brignanese dei Visconti. Questa famiglia mantenne il controllo dell’edificio anche quando, con la costruzione del fosso bergamasco e la definitiva stabilizzazione dei confini, Pagazzano ritornò sotto l’influenza di Milano. La stabilità, sancita da un atto notarile che, datato 1465, confermava il pieno possesso dello stabile a Sagramoro II Visconti, portò il castello ad una serie di interventi di ammodernamento: venne ampliato sia il fossato che il perimetro di cinta, la cui parte esterna venne rivestita in laterizio, a cui furono aggiunte quattro torri agli angoli. Nel 1551 il castello di Pagazzano passò a Galeazzo Visconti, arciprete del paese, il quale attuò una serie di modifiche che lo avvicinarono ad una dimora signorile: nel lato sud vennero distrutte le due torri e tutta la merlatura, mentre il lato nord (quello rivolto verso il confine con la Repubblica di Venezia) venne lasciato integro nelle sue funzioni difensive. Nel 1657 morì senza eredi l’ultimo dei discendenti del ramo brignanese dei Visconti, dopodiché il castello passò alla famiglia milanese dei Bigli. Questi compirono ulteriori opere di rimodernamento, tra cui la costruzione di un loggiato e di una scalinata a ventaglio, nonché numerose decorazioni. Nel 1828 la marchesa Fulvia Bigli lasciò il castello in eredità al marchese Paolo Crivelli, appartenente al casato del marito, la cui famiglia utilizzò la struttura come azienda agricola, mantenendone la proprietà fino al 1968. Da allora vi subentrarono altri proprietari fino a quando, nel 1999, il castello venne acquistato dal comune di Pagazzano.