Il palazzo attuale, con l’annessa torre merlata, è riconducibile alla ristrutturazione voluta nel 1529 da Giovanni Battista Ricci, un facoltoso personaggio appartenente a una famiglia radicata in vari centri della Riviera di Ponente, tra Albenga e Savona.
Al palazzo si accedeva dall’attuale Via del Municipio, attraverso il grande portale in pietra nera con la Vergine col Bambino tra angeli nell’architrave, due tondi con profili all’antica sugli stipiti e due ricci scolpiti nelle basi.
Lo stemma della famiglia e le iniziali I.B.R., per Giovanni Battista Ricci, sono presenti in molte delle ardesie scolpite che decorano l’edificio.
La loro realizzazione deve essere ricondotta a una delle numerose botteghe di scultori locali che tra Quattro- e Cinquecento erano impegnati nella produzione di sovrapporte e cornici di portali, celini, peducci e chiavi di volta in ardesia. Il repertorio decorativo comprende motivi religiosi (la Vergine Annunziata, il Padre eterno, il trigramma IHS per Iesus), elementi floreali, busti di guerrieri “all’antica”, oltre ovviamente al riccio, divenuto elemento iconico del palazzo.
In marmo furono invece realizzate le colonne, con eleganti capitelli tardo-corinzi, e le balaustre del vano scala interno, che conduce alle sale del piano nobile, illuminate da grandi bifore rettangolari con colonnina centrale e sormontate da un oculo.