Il Ferretti, a ricordo di questa costruzione, fece incidere sopra l'arco d'ingresso lo stemma del suo casato, aggiungendo al cimiero il leone, che tiene nelle branche il giglio e la spada, insegna che gli era stata concessa dalla Repubblica fiorentina per le benemerenze acquistate come Podestà nel 1374, e sotto lo stemma pose una lapide con la seguente iscrizione:

"HOC CASTRUM FACTUM FUIT PER NOBILEM ET MAGNIFICUM MILITEM DOMINUM FRANCISCUM DE FERRETTIS DE ANCONA-MCCCLXXXVI".

Le caratteristiche della rocca corrispondevano naturalmente alla architettura militare del tempo, soprattutto per quanto riguarda i vari ordini di feritoie o piombatoi, che appaiono nei quattro lati dell'edificio e nel punto d'innesto delle torri. Rimangono ancora le tracce delle merlature, che coronavano l'intera costruzione e che furono soppresse nelle successive trasformazioni.

È il caso intanto di notare che mentre Ancona, nel 1382, dopo la triste esperienza fatta con Luigi D'Angiò, distruggeva, a furore di popolo, l'imponente e artistica rocca di S. Cataldo, provvedeva a breve distanza alla ricostruzione della rocca di Fiumesino per la difesa dei suoi confini e consentiva ai Ferretti di costruire un proprio castello.

Francesco, condotta a termine l'opera, chiedeva a Bonifacio IX il riconoscimento ufficiale della sua signoria, tenuta già di fatto dalla sua famiglia. Il Pontefice, anche in segno di gratitudine per la fedeltà dimostrata da tutta la famiglia alla Chiesa, gli concedeva nel 1396 l'investitura col titolo di conte di Castelfrancesco, che i suoi eredi mutarono in Castelferretto o dei Ferretti. Si costituiva così un feudo indipendente dalla giurisdizione del Comune di Ancona, sotto l'alto dominio della Chiesa.