Le château de Berry Pomeroy a été construit à l'origine au XIIe siècle. Il est resté aux mains de la famille Pomeroy jusqu'en 1547, lorsque la famille a été contrainte de le vendre au Somerset pour cause de crise financière. Le château a été abandonné en 1688 et est aujourd'hui l'un des endroits les plus hantés du monde. On rapporte que deux fantômes féminins hantent le château : la dame bleue et la dame blanche. La dame bleue aurait tué son propre enfant.
Son fantôme attire maintenant les passants vers la tour et ils tombent pour leur mort. Selon la légende, la dame blanche est le fantôme de Margaret Pomeroy qui a été emprisonnée par sa sœur, jalouse de sa beauté et la pauvre dame est morte de faim. Lady Pomeroy hante toujours le donjon. C'est en effet l'un des endroits les plus hantés d'Angleterre.