Manual

YUV 비디오 처리

이재협/실장/시스템개발실/PHYSIA

2024년 11월 19일 — 4 min read

YUV 색상 형식을 사용하는 비디오 플랫폼에서는 비디오를 그리기 위해 추가적인 단계가 필요합니다. 이 과정에는 셰이더를 사용하여 기본 쿼드에 두 개의 서피스를 그리는 것이 포함됩니다. 먼저 video_draw() 참조 페이지를 읽고 YUV 비디오에 대한 데이터가 무엇인지 확인한 후, 아래의 지침을 따라 비디오를 그리는 방법을 알아보세요.

YUV 셰이더 생성

프로젝트에 셰이더 자산을 생성하고, 그 조각 셰이더(.fsh) 코드를 다음으로 교체합니다:

//
// CUSTOM fragment shader for handling YUV content
//
varying vec2 v_vTexcoord;
varying vec4 v_vColour;
uniform sampler2D v_chroma;
const float x = 1.164383;
const float y = 1.138393;
const float z = 1.138393;
const vec3 src_bias = vec3(16.0 / 255.0, 128.0 / 255.0, 128.0 / 255.0);
const mat3 src_xform = mat3(1.00000000 * x,  0.00000000 * y,  1.57480000 * z,
                            1.00000000 * x, -0.18732427 * y, -0.46812427 * z,
                1.00000000 * x,  1.85560000 * y,  0.00000000 * z);
void main()
{
    float yy = texture2D(gm_BaseTexture, vec2(v_vTexcoord.x, v_vTexcoord.y)).r;
    vec2 cbcr = texture2D(v_chroma, vec2(v_vTexcoord.x, v_vTexcoord.y)).rg;
    vec3 yuv = vec3(yy, cbcr);
    yuv -= src_bias;
    yuv *= src_xform;
    gl_FragColor = vec4(yuv, 1.0);
}

샘플러 가져오기

객체의 생성 이벤트에서 비디오가 YUV인 경우에만 v_chroma 셰이더 유니폼의 샘플러 ID를 가져옵니다:

var _format = video_get_format();
if (_format == video_format_yuv)
{
    videochromasampler = shader_get_sampler_index(shader_YUV, "v_chroma");
}

비디오 그리기

객체의 그리기 이벤트에서 video_draw()를 호출하고, 첫 번째 배열 위치가 0(비디오가 재생 중임을 의미)인 경우 비디오를 그립니다. 아래 코드는 video_get_format() 함수에 대한 switch 문을 사용합니다. 비디오가 RGBA 형식을 사용하는 경우, 배열의 위치 [1]에 있는 서피스를 간단히 그립니다. 비디오가 YUV 형식을 사용하는 경우, 셰이더를 사용하여 두 개의 서피스(위치 [1] 및 [2])를 기본 쿼드에 그립니다.

var _data = video_draw();
if(_data[0] == 0)
{
    switch(video_get_format())
    {
        case video_format_rgba:
            var _surf = _data[1];
            draw_surface(_surf,0,0);
        break;

        //  #### YUV PART HERE ####
        case video_format_yuv:
            var _surf = _data[1];
            var _chromasurf = _data[2];
            if(surface_exists(_surf) and surface_exists(_chromasurf))
            {
                shader_set(shader_YUV);

                var _tex_id = surface_get_texture(_surf);
                var _chroma_tex_id = surface_get_texture(_chromasurf);
                texture_set_stage(videochromasampler, _chroma_tex_id);
                gpu_set_texfilter(false);

                draw_primitive_begin_texture(pr_trianglestrip, _tex_id);
                    draw_vertex_texture(0, 0, 0, 0);
                draw_vertex_texture(surface_get_width(_chromasurf), 0, 1, 0);
                draw_vertex_texture(0, surface_get_height(_chromasurf), 0, 1);
                draw_vertex_texture(surface_get_width(_chromasurf), surface_get_height(_chromasurf), 1, 1);
                draw_primitive_end();

                gpu_set_texfilter(true);
                shader_reset();
            }
        break;
    }
}