Inizialmente lo stemma dei Ferretti era formato da uno scudo con due bande rosse in campo d'argento, sormontato dal cimiero con al centro una trota. Successivamente da Francesco Ferretti fu aggiunto il leone e nel sec. XVI allo scudo venne accollata l'aquila bicipide imperiale e quindi per concessione di Pio IX furono aggiunte due chiavi con la basilica Pontificia. Altre varianti furono apportate negli ultimi tempi dal duca Ferretti.
Nel castello era stata costruita una cappella dedicata a S. Andrea, titolo che già aveva una delle chiese appartenenti al Monastero di Castagnola, oltre l'Esino. Con la Bolla del 17 agosto 1397 Papa Bonifacio IX erigeva in parrocchia il territorio dei Ronchi, sotto il giuspatronato dei conti Ferretti.
Alla morte di Francesco Ferretti, la contea passò ai suoi eredi, cioè ai figli Liverotto e Francesco, e ad evitare che gravi dissensi sorgessero fra i numerosi rampolli, venne scelto ogni sei mesi un governatore del castello e capitano delle milizie, il quale era eletto da un consiglio di famiglia di cui facevano parte i maggiori ai 25 anni.
Il castello dei Ferretti divenne un sicuro rifugio e un valido mezzo di difesa in tutte le lotte che si svolsero nel sec. XV, soprattutto durante l'invasione di Francesco Sforza, che aveva posto la sede della sua signoria a Jesi, e nelle sanguinose contese fra gli altri condottieri del tempo, come Sigismondo Malatesta e Federico di Urbino. Gli stessi Ferretti se ne avvantaggiarono nei gravi contrasti, che ebbero luogo con le famiglie Fatati, Pisanelli e Vigilanti di Ancona, quando un Pietro Ferretti, figlio di Liverotto e fratello del Beato Gabriele dell'Ordine dei Minori Osservanti, favorito dall'antipapa Giovanni XXIII, fu eletto Vescovo di Ancona.
Il Ferretti, osteggiato dal Comune della città, che sosteneva il Vescovo legittimo Vigilanti, poté prendere possesso dell'Episcopato, temporaneamente, per l'intervento diretto di Giovanni XXIII e di Ladislao Re di Napoli. Alla fine dello scisma il nuovo papa, Martino V, per sedare le discordie tra le varie famiglie, mentre riconosceva regolare la nomina del Vigilanti, trasferiva il vescovo Ferretti ad Ascoli e riconfermava alla sua insigne famiglia i privilegi della contea.
Lo storico Leoni narra che le milizie del castello riportarono un brillante successo d'armi contro le forze di Jesi, il 13 maggio del 1513, durante la guerra per le terre di confine. Secondo Lando Ferretti, storico della città di Ancona, partecipò alla lotta anche la colonia degli Albanesi, che dimorava a Castelferretti, tendendo un'imboscata agli Esini che portavano bestiame e vettovaglie a Montemarciano.
Non è da meravigliarsi che presso il Castello dei Ferretti vi fosse una colonia di Albanesi, perché molti abitanti dell'altra sponda erano emigrati per non cadere sotto l'oppressione dei Turchi. Gruppi di Albanesi e di Schiavoni, avevano preso stabile dimora presso il Poggio, Sirolo, Massignano e specialmente Camerano. L'esodo alle volte era dovuto all'infierire delle epidemie.