En fait vous avez deux bases: l'une relative à la caméra, l'autre absolue (le monde). Donc, vous voulez essentiellement transformer vos données relatives en données absolues.
Lieu
Ceci est le plus facile. Vous devez traduire la position (X, Y, Z) par le vecteur t (U, V, W). Donc, toutes vos positions en absolu sont (Ax, Ay, Az) = (X, Y, Z) + t = (X + U, Y + V, Z + W).
Orientation
C'est un peu plus difficile. Vous devez trouver la matrice de rotation qui fait tourner votre caméra de (je suppose) (0,0,1) à (Ru, Rv, Rw). Vous devriez regarder Basic Rotation Matrices afin de décomposer les 2 rotations qui prennent (0,0,1) à (Ru, Rv, Rw) (une selon l'axe X, une selon l'axe Z par exemple). Je vous conseille de dessiner la base absolue et le vecteur (Ru, Rv, Rw) sur une feuille de papier, c'est le moyen le plus simple d'obtenir le bon résultat. Vous avez donc 2 rotations de base matrices r1 et r2. La matrice de rotation résultante r = r1 * r2 (ou r2 * r1, peu importe). Donc l'orientation absolue de votre objet est (ARx, ARy, ARz) = r * (Rx, Ry, Rz).
Espérons que cela aide!