Il castello, menzionato per la prima volta nel 1188, sorse probabilmente nel XII secolo, quando si organizzò il potere feudale nel Finale.
Nei documenti medievali il castello è identificato col termine di “caminata”, cioè una dimora fortificata su più piani, costruita in pietra e dotata di camini nella parte residenziale. Una loggia si apriva al piano terreno.
Nel Medioevo il castello gradualmente si ingrandì per ospitare i diversi componenti della famiglia marchionale, spesso animata da aspri e violenti contrasti tra i suoi membri.
Nelle sue sale di rappresentanza venivano rogati gli atti più importanti del marchesato e nel 1390 viene ricordata l’esistenza accanto alla “caminata” marchionale di un giardino, detto “viridario”, con un cipresso.

Nel Quattrocento, al culmine della Guerra del Finale (1447-1450) tra Genova e Galeotto Del Carretto, il castello fu occupato col tradimento da mercenari genovesi. Galeotto riuscì a fuggire calandosi dalle mura del castello e trovò rifugio in Francia, dove morì nei mari della Bretagna.
Pochi mesi dopo, l’esercito genovese occupò anche il Borgo del Finale, ordinando la demolizione delle mura e delle sue case. Ma nel dicembre 1450, Giovanni I Del Carretto riuscì a riconquistare l’antico feudo e iniziò la sua opera di ricostruzione di Castel Gavone e del Borgo.

Il castello quattrocentesco era incentrato su un cortile interno con un colonnato ornato da capitelli scolpiti in Pietra di Finale. Su di esso si apriva la cappella dedicata a San Giorgio, con una lunetta gotica, raffigurante il santo datata al 1461. Una scala, posta sul lato settentrionale del cortile, dava accesso al piano superiore, dove si sviluppavano gli ambienti residenziali della famiglia marchionale e gli spazi di rappresentanza.

Intorno al 1490, il castello fu dotato della splendida “torre dei diamanti” in Pietra di Finale, uno dei più originali esempi di architettura militare del periodo: il castello medievale era ormai diventato una prestigiosa dimora rinascimentale.

Nel Cinquecento, con l’introduzione di sempre più potenti artiglierie negli eserciti dell’epoca, le alte murature verticali della fortificazione medievale erano diventate estremamente vulnerabili e esposte ai colpi di bombarde e cannoni. A protezione del nucleo centrale del castello, fu così costruita una possente cinta muraria esterna, con quattro grandi torri cilindriche poste negli angoli.

Dopo gli assedi e i bombardamenti subiti nella seconda metà del XVI secolo e la vendita del Marchesato del Finale alla Spagna nel 1602, il castello ormai in decadenza ospitò ancora per un certo periodo i governatori spagnoli.
Con l’acquisto del Finale da parte della Repubblica di Genova nel 1713, le sorti del castello furono definitivamente segnate: il piccone e le mine si accanirono sull’antico castello che fu ridotto ad un rudere da quale prelevare arredi architettonici e materiali, utilizzati anche per la costruzione della nuova chiesa di Sant’Eusebio nella vicina Perti, iniziata nel 1714.

I recenti interventi di restauro, condotti con fondi europei, hanno voluto mantenere i segni della distruzione genovese del 1715 creando un ambiente di grande suggestione.