Il castello fu commissionato nel XV secolo da Sigismondo Pandolfo Malatesta e ne rimane solo il nucleo centrale. L'edificio fu concepito sia come palazzo che come fortezza, come sede degna della corte e della guarnigione e come simbolo di potere e supremazia sulla città.
Questo affascinante edificio presenta grandi torri quadrate e possenti mura inclinate il cui effetto originario, emergendo dal profondo fossato, doveva essere formidabile. Nella parete tra lo stemma e il portale in marmo è incastonata una delle epigrafi dedicatorie del castello, con un testo solenne in latino scolpito in caratteri lapidari (uno dei primi esempi di "rinascita" dei caratteri classici).
Oggi il castello, noto anche come "Rocca Malatestiana", è diviso in quattro parti collegate tra loro: L'ala Isotta, il corpo centrale dei servizi, il grande cortile e il Maschio, la parte più incantevole dell'intero complesso. a sua struttura è stata sottoposta a un attento e accurato restauro con l'obiettivo di renderla un luogo permanentemente visitabile e una sede prestigiosa per eventi artistici e culturali. Nel 2017 sono iniziati i lavori per la realizzazione della Corte sul mare, che comprendono il recupero del perimetro dell'antico fossato e delle mura con la scalinata di collegamento con la nuova Piazza Arena Francesca da Rimini.