İslam Sanatı Müzesi'nin yaratılışının hikayesini anlatmak, uzlaşmaz bir mimarın hikayesini anlatmaktır. Proje başladığında, ilk görev 90 yaşındaki mimari ikon I. M. Pei'yi emeklilikten çıkarmak oldu. Ulusal Sanat Galerisi ve Louvre gibi müzelere güzel açılımlar eklemekle ünlü Pei, daha sonra ilham almak için İslam dünyasını gezerek altı ay geçirdi. Son olarak, Pei ilham aldığında ve çalışmaya ikna edildiğinde, binanın insan yapımı bir adada 60 metre açıkta olması durumunda daha iyi görünebileceğini öne sürdü. Ve öyle oldu. Ortaya çıkan bina, İslami olduğu kadar belirgin bir şekilde Pei, birbiri üzerine yığılmış anıtsal taş parçalarından yapılmış; bina binlerce yıldır etrafta dolaşıyor gibi görünüyor ve daha pek çok şey için etrafta olacağı düşüncesine borç veriyor.
