Nel castello si dovettero prendere severe misure precauzionali, in occasione del passaggio delle truppe di Francesco Maria della Rovere, che era irritato con Ancona per non avere tenuto fede alle capitolazioni e per non aver pagato le taglie imposte al Comune.
I Ferretti si presero cura del territorio della contea, facendo bonificare i campi e costruire chiese, case e pozzi per i loro sudditi e alcune ville per i numerosi membri della famiglia. Stando ad una data, che ancora si legge in una vera di pozzo, nel 1504 fu eretto sull'alto di Monte Domini il vasto palazzo, ancora esistente, pur ridotto negli ultimi tempi, per incuria dei proprietari, allo stato di abbandono.
Si attribuisce all'iniziativa di Francesco Ferretti, uno dei più illustri personaggi della famiglia, vissuto tra il 1525 e il 1593, la costruzione nel borgo di un casino con due logge e con giardino e di una cappella in onore di S. Stefano, patrono dell'ordine cavalleresco. La Villa di Monte Domini richiama nelle sue forme, semplici e robuste, specialmente per le mensole sotto i tetti e lo stile delle finestre, la villa Ferretti, ancora esistente nel viale della Vittoria di Ancona e attribuita a disegno di Antonio da Sangallo, il giovane. L'edificio internamente è stato rinnovato all'inizio del Settecento con elementi decorativi tra il barocco ed il neoclassico. Secondo una iscrizione, conservata sopra l'ingresso, risulta che il 24 settembre del 1711 Raimondo Ferretti, figlio di Cesare Ferretti e Arcivescovo di Ravenna, dedicò una Cappella a S. Raimondo, di cui sull'altare esisteva una tela, recentemente scomparsa.