こんにちは。
PythonのModernglでGLSLを触りだした初心者です。

OpenCVのカメラモデル(放射方向歪みのパラメータはk1~k3まで)に従って、写真と地形モデルから作成した(直角座標系の)三次元点群をレンダリングするプログラムを書いています。

基本的にはうまく動いており、[![正しくレンダリングされた画像][1]][1] 一枚目のようにレンダリングされるのですが、k1,k2に(小さな)負の値を与えると三角形が放射状に広がる図がレンダリングされてしまいます。[![失敗した例][2]][2]
以下がGLSLのプログラムです。
```
     vertex_shader='''
         #version 330
         in vec3 in_vert;
         in vec3 in_color;
         out vec3 v_color;

         // decrare some values used inside GPU by "uniform"
         // the real values will be later set by CPU
         uniform mat4 proj; // projection matrix
         uniform mat4 view; // model view matrix
         uniform float dist_coeffs[5]; // distortion coefficients 
         // distortion coefficients of OpenCV model k1, k2, k3, p1, p2
         // note that opencv distort-coeff vecor is (k1, k2, p1, p2 [,k3])
        
         vec4 distort(vec4 view_pos){
          // normalize
          float z =  view_pos[2];
          float z_inv = 1 / z;
          float x1 = view_pos[0] * z_inv;
          float y1 = view_pos[1] * z_inv;
          // precalculations
          float x1_2 = x1*x1;
          float y1_2 = y1*y1;
          float x1_y1 = x1*y1;
          float r2 = x1_2 + y1_2;
          float r4 = r2*r2;
          float r6 = r4*r2;
          // rational distortion factor
          float r_dist = (1 + dist_coeffs[0]*r2 + dist_coeffs[1]*r4 + dist_coeffs[2]*r6);
          // full (rational + tangential) distortion
          float x2 = x1*r_dist + 2*dist_coeffs[3]*x1_y1 + dist_coeffs[4]*(r2 + 2*x1_2);
          float y2 = y1*r_dist + 2*dist_coeffs[4]*x1_y1 + dist_coeffs[3]*(r2 + 2*y1_2);
          // denormalize for projection (which is a linear operation)
          return vec4(x2*z, y2*z, z, view_pos[3]);
          }
         
         void main() {
             vec4 local_pos = vec4(in_vert, 1.0);
             vec4 view_pos = vec4(view * local_pos);
             vec4 dist_pos = distort(view_pos);
             v_color = in_color;
             gl_Position = vec4(proj * dist_pos);
         }
     ''',
     fragment_shader='''
         #version 330
         in vec3 v_color;
         layout(location=0)out vec4 f_color;
         void main() {
             f_color = vec4(v_color, 1.0); // 1,0 added is alpha
         }
     '''
```
また、カメラのオイラー角、座標、視野角、画像サイズからモデルビュー行列・プロジェクション行列を作る関数は以下の通りです(R言語)
```
# camera intrinsic matrix
projection_mat <- function(fov_x_degree, w, h, near = -1, far = 1
                           , cx = w/2, cy = h/2){
  fov_x <- fov_x_degree * pi /180
  fov_y <- fov_x * h / w
  fx <- 1/(tan(fov_x/2))
  fy <- 1/(tan(fov_y/2))
  matrix(c(fx , 0, (w-2*cx)/w, 0, 
           0, fy, -(h-2*cy)/h, 0,
           0, 0, -(far+near)/(far-near), -2*far*near/(far-near),
           0, 0, -1, 0), 
         ncol = 4, 
         byrow = F) %>% 
    as.vector() %>% 
    reticulate::np_array(dtype = "float32")
}

# camera extrinsic parameter
modelview_mat <- function(pan_degree, tilt_degree, roll_degree, t_x, t_y, t_z){
  y <-  (360 - pan_degree) * pi / 180
  x <-  (tilt_degree) * pi / 180 
  z <-  (roll_degree) * pi / 180
  
  rmat_z <- c(cos(z), -sin(z), 0, 0,
              sin(z), cos(z), 0, 0,
              0, 0, 1, 0,
              0, 0, 0, 1) %>% matrix(ncol = 4, byrow = T)
  rmat_x <- c(1, 0, 0, 0,
              0, cos(x), -sin(x), 0,
              0, sin(x), cos(x), 0,
              0, 0, 0, 1) %>% matrix(ncol = 4, byrow = T)
  rmat_y <- c(cos(y), 0, sin(y), 0,
              0, 1, 0, 0,
              -sin(y), 0, cos(y), 0,
              0, 0, 0, 1) %>%matrix(ncol = 4, byrow = T)
  rmat <- rmat_x %*% rmat_z %*% rmat_y
  tmat <- matrix(c(1, 0, 0, -t_x,
                   0, 1, 0, -t_z,
                   0, 0, 1, -t_y,
                   0, 0, 0, 1), byrow = T, ncol = 4)
  rmat %*% tmat %>%
    as.vector() %>% 
    reticulate::np_array(dtype = "float32")
}

```
どうやらカメラ座標に近いところや視界の端に位置する点群がレンダリングされていそうなことはわかったのですが、理由や対処法がわかりません。ジオメトリシェーダを使って不審な三角形を除く(?ジオメトリシェーダについてまだ良く知らないので間違っていたら教えてください)ことも考えています。

このような図がレンダリングされる理由や解決策についてなにかご存知のことがあれば教えていただけると幸いです。



  [1]: https://i.sstatic.net/ZtX7t.jpg
  [2]: https://i.sstatic.net/yyGbK.png