Как передвигаться по местности относительно направления обзора

Я хочу перемещаться влево / вправо, вперед / назад по местности (дельта х, дельта у в m_mouseMovement) относительно текущего направления просмотра. Следующий код работает с масштабированием (колесико мыши). Но движение работает только до тех пор, пока направление просмотра находится точно вдоль оси x:

Vector3D m_position;
Vector2D m_mouseMovement; // delta x,y amount the mouse was moved on the screen
int m_mouseWheelSteps;

QVector3D direction(...);
QVector3D right(...);
QVector3D up = QVector3D::crossProduct(right, direction);

m_position += m_mouseWheelSteps * direction; // zoom in and out; ok

// m_position += Vector3D(m_mouseMovement.x*right.x, 0, m_mouseMovement.z*right.z); // does not work properly; it always moves along the x/z axis

QMatrix4x4 modelMatrix;
//modelMatrix.scale, translate, etc. the terrain

QMatrix4x4 viewMatrix;
viewMatrix.lookAt(m_position, m_position+direction, up);

QMatrix4x4 mvMatrix = viewMatrix * modelMatrix;

QMatrix4x4 projectionMatrix;
projectionMatrix.perspective(...);

QMatrix4x4 mvpMatrix = projectionMatrix*mvMatrix;

Я не могу понять, как заставить это работать так, чтобы движение не зависело от направления просмотра?