L'ensemble a été fondé dans la seconde moitié du XIVe siècle - comme en témoigne la fresque sur le portail de l'église, datée d'environ 1371 - par Jacopo Arcucci, comte de Minervino et seigneur d'Altamura, secrétaire d'État et trésorier de la reine Jeanne Ire d'Anjou.
En 1373, la Reine, déjà protectrice des Chartreux de San Martino, envoie les Pères qui auraient vécu sur l'île. Suite aux raids des pirates, la Chartreuse a subi de graves dommages et à partir de 1563, elle a fait l'objet d'importants travaux de restauration. Le monument présente en effet une stratification des interventions, mais il reste caractérisé par le style architectural caractéristique présent dans une grande partie de l'île et de la côte amalfitaine.
La Chartreuse de San Giacomo a été aménagée au XIVe siècle et partiellement transformée et agrandie aux XVIe et XVIIIe siècles ; la structure est faite de pierres de taille en tuf plâtré, parfois extrados, selon l'architecture typique de la région méditerranéenne.
Au Cloître primitif du XIVe siècle, appelé Petit Cloître, avec des colonnes et des chapiteaux, s'est ajouté, au cours du XVIe siècle, le Cloître monumental, appelé Grand Cloître, avec des piliers en pierre calcaire. Autour du Grand Cloître se trouvent les cellules des moines et le Quarto del Priore, souvent utilisé comme lieu d'exposition temporaire, qui donne sur le Jardin du Prieur, riche en épices et en plantes médicinales, plantées selon les textes traditionnels sur les épices de la Chartreuse.
L'église est également du 14ème siècle, avec des fresques datant de la fin du 17ème siècle et du début du 18ème siècle et des peintures du peintre Nicola Malinconico (Naples 1663 -1721) représentant des Saints et des personnages de l'Ancien Testament.
L'architecture la plus récente est celle dite Canonica, rénovée par les Chanoines du Latran au XVIIIe siècle, développée sur deux étages, avec la tour décorée de stucs du XVIIIe siècle.
En 1808, la Chartreuse est supprimée avec la confiscation des biens ; en 1815, elle est affectée à la caserne, puis devient un hospice pour invalides ; enfin, après 1860 et jusqu'en 1898, elle est le siège de la Vème Compagnie de Discipline, où sont affectés les anarchistes et les soldats de mauvaise conduite.
Le monument a fait l'objet d'autres travaux de restauration à partir de la fin du XIXe siècle ; plus tard, en 1927, certaines structures du XIVe siècle ont été mises au jour ; dans les années 1930, il abritait le gymnase et la bibliothèque confiés aux Chanoines Réguliers Lateranensi, qui ont abandonné la Chartreuse après la Seconde Guerre mondiale.
Depuis 1975, le musée Diefenbach est installé dans le réfectoire. Les œuvres du peintre allemand Karl Wilhelm Diefenbach, mort sur l'île en 1913, ont été données à la Chartreuse par ses héritiers.
Plus récemment, la Chartreuse a fait l'objet de nouveaux travaux de restauration et accueille désormais des expositions temporaires, des conférences, des concerts, des spectacles et des événe
