Dans le contexte où j'ai grandi j'ai bien ressenti la connotation péjorative du terme. Et je suis pas le seul visiblement, regarde ce qu'en dit un linguiste cité sur le forum DZ:
"Certains de ces mots voyageurs connaissent des aventures exceptionnelles. Cest le cas de trois termes arabes, entrés dans la langue française, servant à désigner les Européens (non musulmans) : roumi, kafir et gaouri. Le linguiste tunisien Majid El Houssi, ancien professeur à luniversité CaFoscari de Venise, décédé le 10 mai dernier à lâge de 66 ans (voir J.A. n° 2471), a entrepris den raconter lhistoire dans un petit livre passionnant.
(...)
Dusage courant au Maghreb, surtout en Tunisie, gaouri désigne lOccidental, lEuropéen, le chrétien, parfois le mécréant. Arrivé en Afrique du Nord au moment de la domination ottomane, le terme vient du turc gavur, emprunté lui-même au persan gabr, qui désignait spécifiquement les gens qui continuaient à suivre la religion de Zoroastre. Et voilà quaujourdhui, ayant franchi allègrement les siècles et les continents, il fait florès dans les banlieues françaises (comme roumi et kafir, au demeurant), où les Beurs lutilisent pour railler les « Blancs », les Français de souche.
Par le jeu de dérives sémantiques quexplique une histoire lourde de conflits et dincompréhensions, des vocables ont ainsi acquis des valeurs qui nexistaient pas dans leur langue dorigine. Ainsi va la vie des mots. "
Mais du coup on ne sait plus vraiment l'origine du mot. Le linguiste parle du turc gavur.