Le jardin Emile Duclaux, qui entoure le Palais du Pharo, se caractérise par une vue imprenable sur le Vieux Port et la côte nord de Marseille. Un sentier situé au bord d'une falaise permet aux promeneurs de découvrir des vues imprenables. Le site est idéal pour observer le défilé des ferries quittant le Vieux Port, une véritable invitation au voyage. Lors de son séjour à Marseille, en 1852, Louis Napoléon est séduit par la région et exprime le souhait d'y posséder une résidence les pieds dans l'eau. Le 15 août 1858, la première pierre du palais est posée.