Überragt von einer Burg, die auf einem gewaltigen Felsen in 760 m Höhe erbaut wurde, bewahrt Sortelha durch die Architektur seiner ländlichen Granithäuser noch immer sein mittelalterliches Aussehen. Sortelha war daher Teil einer wichtigen Verteidigungslinie, die sich aus einer Reihe von Burgen zusammensetzte, die an den Grenzen des Territoriums erbaut worden waren und von denen die meisten entweder auf den früheren Hügelfestungen der alten iberischen Zivilisationen errichtet oder wieder aufgebaut worden waren. Der Name des Dorfes leitet sich von der Beschaffenheit seines Geländes ab, da es von ringförmigen Felswänden (sortija, auf Kastilisch) umgeben ist und seine Mauern ebenfalls kreisförmig gebaut wurden. Der Eingang in das Dorf erfolgt durch ein gotisches Tor. Auch in der Sortelha überschneiden sich Natur und Architektur, wie die ländlichen Granithäuser zeigen, die in die Felsen gebaut sind und der ursprünglichen Topographie des Geländes folgen. Innerhalb dieser Häuser sind die Tische, Stühle und sogar einige Bettgestelle noch aus der ursprünglichen Felsformation, die die Häuser umgibt, gefertigt.