J'ai fini par découvrir que je devais utiliser export pour définir mes variables d'environnement. Donc dans mon .zshrc J'ai ajouté :
PKG_CONFIG_PATH=/usr/local/lib64/pkgconfig:/usr/lib64/pkgconfig:/usr/local/lib/pkgconfig; export PKG_CONFIG_PATH
Maintenant ./configure trouve la bonne bibliothèque.