Situato nel centro storico di Fano, fu fatto costruire dal nobile Francesco Martinozzi a partire dal 1564, lo stesso anno in cui gli fu concesso di abbattere l’antica chiesa di San Maurizio per utilizzarne l’area. La costruzione fu fondata utilizzando parte delle murature antecedenti, occludendo le aperture (fra queste una monofora tribolata e una stretta apertura ad arco acuto simili alla “porta del morto” così chiamata) conservando un’interessante croceromanica inpietra incastonata. A delimitare lo spigolo posteriore di nordest, vi è la zona inferiore (quella superiore è un rifacimento moderno) di un’antica casatorre medioevale. Suggestiva è l’ipotesi, peraltro senza riscontro nei documenti, che vede l’attribuzione del disegno della bella facciata addirittura a Jacopo Sansovino: infatti solamente nel 1937 ha potuto emergere in tutta la sua monumentalità in seguito all’ apertura del piazzale degli Avveduti. Lateralmente si ergono le robuste fasce verticali dei due spigoli a bugnato, raccordate a metà della ben evidenziata fascia marcapiano, tesa orizzontalmente a suddividere la zona inferiore da quella superiore, conclusa dal raffinato cornicione a mensole binate. Al centro della zona inferiore vi è il belportale, contraddistinto dal motivo rinascimentale dell’incorniciatura a punte di diamante e dalle strette paraste scanalate. Tutto in pietra arenaria. Attraverso il nudo androne voltato a botte si entra nel portico, il quale rappresenta e definisce il lato d’ingresso del raccolto cortile, con le sue arcate delle tre campate a crociera, sostenute da due pilastri cruciformi. Tutto il resto risulta rifatto in seguito ai danni recati dai bombardamenti del 1944. Dall’inscrizione posta sulla facciata si legge che della nobile famiglia Martinozzi fece parte quella Laura (figlia del conte Girolamo e di Margherita Mazzarino sorella del cardinale) che, andata sposa al duca Alfonso d’Este nel 1655, diede i natali a Beatrice, consorte di Giacomo II Stuart re d’Inghilterra.
Il palazzo fu ristrutturato interamente nei primi anni 90’ per volontà del commendatore Giancarlo Pedinotti di Fano. Degli ambienti interni, solamente parte di quelli della zona anteriore conservano le originarie volte a padiglione o a crociera e bei portaletti in pietra.
Molto ben conservati sono i locali sotterranei contraddistinti da robuste volte a mattoni e con accesso separato da via Arco D’augusto, i quali sono stati adibiti alla promozione di
attività culturali.