Lai gan ir viena pastāvīgi esoša bibliotēka, kas ir vecāka, Al-Qarawiyyin bibliotēka bieži tiek uzskatīta par vecāko bibliotēku pasaulē. Bibliotēka ir viena no vecākajām universitātēm pasaulē un pirmo reizi tika atvērta 859 CE. To dibināja Fatima al-Fihri, bagātīgā Tunisijas tirgotāja meita (viņa arī nodibināja Qarawiyyin mošeju un Qarawiyyin universitāti).
Pēdējo vairāku desmitgažu laikā lielākā daļa bibliotēkas ir SLĒGTA visiem, izņemot dažus Universitātes zinātniekus un studentus plašu bojājumu dēļ. 2012. gadā Marokas Kultūras ministrija sazinājās ar Aziza Chaouni, Toronto bāzētu arhitektu un inženieri, kas sākotnēji bija no Fez, Moroco, lai novērtētu bibliotēkas bojājumus. Chaouni atklāja, ka bibliotēka bija puves un ka tur bija upe darbojas zem grīdas. Kopš tā laika bibliotēkai ir bijusi plaša renovācija, un tā tika atvērta sabiedrībai dažkārt 2017.gadā.