Il giardino Emile Duclaux, che circonda il Palais du Pharo, è caratterizzato da una vista mozzafiato sul Vieux-Port e sulla costa nord di Marsiglia. Un sentiero situato presso una scogliera offre agli escursionisti l'opportunità di scoprire panorami straordinari. Il sito è ideale per osservare la processione di traghetti che lasciano il "Vieux Port", un vero e proprio invito al viaggio. Durante il suo soggiorno a Marsiglia, nel 1852, Luigi Napoleone fu sedotto dalla zona ed espresse il desiderio di possedere una residenza con i piedi nell'acqua. Il 15 agosto 1858 fu posata la prima pietra del palazzo.