I rapporti con Ancona non erano sempre facili e amichevoli anche perché i Ferretti si consideravano completamente esenti dalla giurisdizione del Comune, in virtù dei privilegi concessi dai Pontefici. Le più gravi questioni riguardavano la ripartizione dei pesi camerali. Nel I760 i Ferretti rivendicarono il diritto di tenere le carceri presso il castello, custodito da un Vicario e da un presidio.

Nel Seicento le strutture del Castello subirono profonde modifiche, come si può rilevare da una rappresentazione sommaria dell'edificio, che, a titolo simbolico, è stata riprodotta in un quadro, ove è tracciato l'albero genealogico dei Ferretti. Si deve notare, a questo proposito, che già fin dal Quattrocento il Casato era diviso in vari rami, di cui il più antico e facoltoso era naturalmente quello che risiedeva nel castello. Non meno considerevoli e abbienti erano i Ferretti, a cui apparteneva il Palazzo del Guasco, costruito all'inizio del sec. XVI e ora sede del Museo nazionale.

Questi avevano le loro proprietà nel castello e nel territorio di Varano. In Ancona i Ferretti disponevano di altri palazzi.

Da quanto risulta, nelle trasformazioni del Seicento, il Castello perdette le sue caratteristiche di fortezza militare con la sopraelevazione di alcuni muri perimetrali all'altezza delle torri dalla parte di nord-ovest con la soppressione delle merlature e con la costruzione di alcune case e casette all'interno, per uso di abitazione e per altri servizi. Conservò invece sostanzialmente la sua originaria fisionomia la parte di sud-est, con i due torrioni agli angoli e la torre centrale che fu dotata di un'edicola con due campane.

Nel 1629 fu ricostruita ed ampliata nell'interno del castello la Chiesa parrocchiale.

È noto che fuori del castello, nell'aperta campagna, a distanza di circa 400 metri, esisteva una seconda Chiesa, dedicata a S. Maria della Misericordia.