El castillo fue encargado en el siglo XV por Sigismondo Pandolfo Malatesta y sólo se conserva el núcleo central. El edificio fue concebido como palacio y fortaleza a la vez, como sede digna de la corte y la guarnición, y como símbolo de poder y supremacía sobre la ciudad.
Este fascinante edificio cuenta con grandes torres cuadradas y poderosos muros inclinados cuyo efecto original, al elevarse desde el profundo foso, debía ser formidable. En el muro, entre el escudo y el portal de mármol, se encuentra uno de los epígrafes dedicatorios del castillo con un texto solemne en latín esculpido en caracteres lapidarios (uno de los primeros ejemplos del "renacimiento" de los caracteres clásicos).
Ahora el castillo, también conocido como "Rocca Malatestiana", está dividido en cuatro partes conectadas entre sí: El ala Isotta, el cuerpo central de servicios, el gran patio y el Maschio, la parte más encantadora de todo el conjunto. sta estructura se sometió a una cuidadosa y esmerada restauración con el objetivo de convertirla en un lugar permanentemente visitable y en un prestigioso lugar para eventos artísticos y culturales. En 2017 se iniciaron las obras de construcción del Patio sobre el mar, que incluyen la recuperación del perímetro del antiguo foso y de las murallas con la escalinata de conexión con la nueva Piazza Arena Francesca da Rimini.