Sohn, 5, redet mit meiner Freundin nicht mehr - Tipps, Erfahrungen?

hallo zusammen,
folgende situation:
meine ex-freundin hat sich vor gut 3 jahren von mir getrennt, also als unser sohn
1 1/2 jahre alt war. von da ab war er übers wochenende immer bei mir. etwas später, ca. 1/2jahr darauf, zog sie mit ihm weiter weg. gut 300km. nun ist die situation so, dass ich den kleinen mittlerweile 5jahre alten bub nur alle paar monate bei mir hab, also immer wenn ich urlaub hab. mit dem hab ich mich auch abgefunden, versteh mich mit meiner ex auch wieder relativ gut. das ist auch nicht das problem.
jetzt ist es so, dass ich seit knapp 1 1/2 jahren wieder eine freundin hab, mit der auch alles super läuft. aber in letzter zeit, ist es immer öfter (wenn er halt da ist) der fall, dass mein sohn nicht mit ihr redet. wenn überhaupt nickt er, schüttelt den kopf, oder zeigt mit dem finger auf etwas. ab und zu kommt ein ja/nein, hallo/tschüss... meine freundin nimmt das sehr persöhnlich und leidet unter der situation. für mich ist ihre reaktion völlig verständlich, aber ich weiß nicht was ich ändern kann. hab schon mehrere male mit meinem sohn geredet, dass er keine angst haben muss und ich ihn immer lieb hab, egal ob ich eine freundin hab oder nicht... ich kann mir auch nicht vorstellen dass er das wirklich mit hintergedanken macht, bzw. dass er sie nicht mag. am anfang war der umgang ganz normal bei den beiden.
mittlerweile steh ich zwischen den fronten und weiß nicht mehr weiter. ich will natürlich keinen der beiden verlieren. ich liebe beide sehr...
über tipps oder erfahrungen würde ich mich sehr freuen!

LFG