Il primo nucleo del castello di Tordibetto risale all’età medievale. Inizialmente veniva usato per lo più quale contenitore per immagazzinare il frumento, ed era costituito da un’unica torre di proprietà di un certo ‘Bectus Menneci’. Nel XIV secolo la Torre venne ampliata e intorno al 1550 assunse l’attuale struttura divenendo un vero e proprio castello, con quattro possenti torri che dominano la valle sottostante.
Subì nuovi restauri e ampliamenti nel 1577. Nel 1720 il castello apparteneva al caporale militare Giuseppe Rossi che ne trasmise la proprietà agli eredi.
Per lungo tempo il Castello di Tordibetto è stato alle dipendenze del castello di Beviglie che dista poche centinaia di metri, posto in posizione più elevata.
Al suo interno sorgeva una cappella dedicata a San Bernardino, titolo ereditato dall’odierna parrocchiale costruita nel 1488 fuori le mura e completamente riedificata nel 1795. Nella chiesa si conservano una tela di Benedetto Bandiera con la Madonna del Rosario (1607) e la Vergine con il Figlio tra santi di Francesco Appiani (seconda metà del XVIII secolo).