A nord est di Palazzo, su uno dei colli intorno ad Assisi che scendono al fiume Chiascio, sorge il Castello di Sterpeto.
La fortezza ha due porte di accesso. La più antica, con arco a tutto tondo, sormontata da una piccola torre, porta all’interno dell’abitato, la seconda molto più grande e con un arco delineato da elementi di arenaria, conduce nella zona residenziale signorile. Da vedere sono proprio la corte signorile e il borgo di Sterpeto.
L’origine del toponimo rivela la presenza di “sterpi”, ma il luogo doveva essere certamente ridente e sicuro. Posto sulla cima del colle dal quale dominava la valle medievale, allora acquitrinosa e malsana. Questa particolare conformazione rese il territorio tra i più popolosi di tutto l’Assisano fin dall’epoca basso-medievale. Così, nel 1232, il castello diventerà la residenza “signorile” dei Fiumi, ben distinta dal “borgo” dove vivevano altri nuclei familiari detti “fuochi”.