Francesco Ferretti, nella sua " Pietra del paragone " ci fornisce alcune interessanti notizie sulla vita del castello, durante il Seicento: egli ci informa che le condizioni ambientali erano migliorate sensibilmente per la coltura del terreno, resa più fertile e abbondante di grani e per le arborature e per le vigne, di cui era stato ornato il colle di Monte Domini e per la fabbrica di molte abitazioni, per cui il numero dei fuochi era aumentato fino a 121 con 610 anime. Oltre alla trasformazione avvenuta nel castello ad uso degli abitanti, nei suoi dintorni si era formato una specie di sobborgo ma gran parte della popolazione abitava in campagna, che era divisa in diverse contrade, quasi tutte proprietà della famiglia Ferretti. Fino a pochi anni or sono una parte dell'abitato nei pressi del castello era chiamato il borgo. Secondo il catasto gregoriano del 1816, la Chiesa appare sita a destra, nell'interno del castello; il borgo si sviluppa specie nel lato di nord-ovest.

Nel Seicento il ramo di Castelferretti entrò in possesso del Palazzo presso S. Domenico, che precedentemente apparteneva ai Ferretti del ramo di Via Guasco, perché nel 1616 fu venduto a Pantasilea Leopardi, che si sposò con un Ferretti del ramo del castello: da allora questi furono chiamati anche i Ferretti di S. Domenico.

I Ferretti si distinsero sempre per la loro intensa attività nei vari campi, come letterati, cultori di storia, di diritto ma specialmente come esperti e valorosi uomini d'arme. Perciò nel loro castello cercavano di dare vita alle manifestazioni culturali, alla lavorazione dei campi, agli scambi commerciali e ci tenevano anche ad avere il loro gruppo di armati per la difesa e la sicurezza della popolazione e delle loro proprietà. Il castello conduceva una vita sua propria, regolata da norme speciali e da tradizioni: in occasione della Pentecoste e nei sette giorni seguenti aveva luogo una grossa fiera, con la franchigia dai dazi e dalle gabelle. (Forse la vecchia denominazione di Via della Franca derivava dalla zona destinata alla fiera franca. Nel catasto gregoriano del 1816 questa zona appare ancora disabitata e occupata dalla strada verso il mare).

La custodia era affidata ad un presidio militare di circa 100 uomini, provenienti, da varie parti e spesso irrequieti e sanguinari.