Bibtex n'est pas vraiment compatible Unicode. Pour utiliser des caractères étendus, vous devez utiliser les remplacements Tex standard.
Vous pouvez cependant utiliser biblatex pour une meilleure gestion des styles bibliographiques; et peut-être jeter un œil à biber, qui vise à devenir un remplaçant de Bibtex compatible Unicode.