Es-tu sûr que c'est le driver ?

J'ai utilisé python pour communiquer sur un port série, des données ascii et des données binaires sans soucis particuliers.

Je pense que le problème vient du langage et des appels que le programme utilise.
A mon avis ce sont eux qui interprètent tes caractères non ascii.

Sinon, c'est peut-être un problème d'initialisation des ports séries, mais je ne m'y connais pas assez.

Tu as les sources de tes programmes de transfert ?