발명의명칭:키 -프레임과자이로스코프를이용한롤링 -셔터보정 방법및이를적용한촬영장치

기술분야

[1] 본발명은를링 -셔터 (Rolling Shutter)에관한것으로,더욱상세하게는

롤링-셔터를사용하는카메라에서발생할수있� �롤링 -셔터효과에의한왜곡을 측정하고보정하는방법에관한것이다.

배경기술

[2] 글로벌셔터와달리，를링-셔터를사용하는카� �라는움직임이크거나

흔들림이심할경우또는움직임객체 (이동체)의움직임이카메라에비하여 상대적으로빠른경우에영상블러현상 (Blur effect)과를링 -셔터효과에의한 왜곡이관측된다.

[3] 이와같은모션블러 (Motion blur)나를링-셔터효과는，영상자체에대해

왜곡을발생시킴은물론,특징점매칭의정확도� �소로프레임간모션추출이 부정확해지는둥의문제를야기시킨다.

발명의상세한설명

기술적과제

[4] 본발명은상기와같은문제점을해결하기위하여 안출된것으로서，본발명의 목적은，키_프레임을이용하여롤링 -셔터효과에의한왜곡으로나타나는라인 딜레이를정확하게추정하여를링 -셔터효과에의한왜곡을보정하는를링 -셔터 보정방법및이를적용한카메라를제공함에있다 .

[5] 또한,본발명의다른목적은，라인딜레이추정� �에는카메라의자이로

스코프에서의각속도측정만으로롤링 -셔터보정을수행할수있도록하는방법 및이를적용한카메라를제공함에있다.

과제해결수단

[6] 상기목적을달성하기위한본발명의일실시예에 따른，를링 -셔터보정

방법은，키 -프레임의특징점들을추출하는추출단계;카메� ��를움직이면서 획득한프레임의특징점들을추출하는추출단계 ;키-프레임의특징점들과 프레임의특징점들을기반으로，프레임에서의 라인딜레이를추정하는단계;및 추정된라인딜레이를이용하여,프레임의롤링 -셔터효과에의한왜곡올 보정하는단계;를포함한다.

[7] 그리고，상기라인딜레이추정단계는，키-프� �임의특징점들을변환하여

프레임으로이동시키는단계 ;프레임의특징점들과키 -프레임의특징점들을 매칭시키는단계;및매칭결과를기초로,프레임� ��서의라인딜레이를추정하는 단계;를포함할수있다.

[8] 또한,상기라인딜레이는,프레임의특징점들과� ��-프레임의특징점들간의 거리를기반으로추정할수있다.

[9] 그리고，상기카메라는，턴-테이블에올려져� �전하면서프레임을획득하고, 상기이동단계는,상기키-프레임의특징점들을� ��체회전변환하여상기 프레임으로이동시킬수있다.

[10] 또한，상기키 -프레임은，상기카메라의움직임이없고움직� �는객체가없는 프레임일수있다.

[11] 그리고，본발명의실시예에따른를링-셔터보� �방법은，카메라의움직임

정보를획득하는단계;상기카메라의움직임정� �와상기라인딜레이를 이용하여,프레임의롤링 -셔터효과에의한왜곡을보정하는단계;를더포� ��할 수있다.

[12] 또한，본발명의실시예에따른롤링-셔터보정� �법은，상기키 -프레임과상기 프레임으로부터파악된움직임정보를참조하여 ，상기움직임정보를보정하는 단계;를더포함할수있다.

[13] 한편，본발명의다른실시예에따른，촬영장치 는，촬영을통해프레임들을 획득하는카메라;및키-프레임의특징점들을추� ��하고,상기카메라를 움직이면서획득한프레임의특징점들을추출하 여，키-프레임의특징점들과 프레임의특징점들을기반으로프레임에서의라 인딜레이를추정하고，추정된 라인딜레이를이용하여프레임의를링 -셔터효과에의한왜곡을보정하는영상 프로세서;를포함한다.

발명의효과

[14] 이상설명한바와같이，본발명의실시예들에따 르면，키 -프레임을이용하여 를링 -셔터효과에의한왜곡으로나타나는라인딜레� �를정확하게추정하여 를링 -셔터효과에의한왜곡을보정할수있게된다.

[15] 또한，본발명의실시예들에따르면，라인딜레 이추정후에는카메라의자이로 스코프에서의각속도측정만으로실시간를링 -셔터보정이가능해진다.

[16] 그리고,본발명의실시예들에따르면，조명변� � (Illumination changes)와겹침 현상 (Large Occlusion)에강인한롤링 -셔터보정이가능해진다.

도면의간단한설명

[17] 도 1은본발명의일실시예에따른를링-셔터보정방� ��의과정설명에

제공되는도면，

[18] 도 2는특징점매칭과라인딜레이추정결과를예시� �도면，

[19] 도 3및도 4는，도 1에도시된를링-셔터보정방법에따른보정결과� ��예시한 도면들，그리고，

[20] 도 5는본발명의다른실시예에따론촬영장치의블� �도이다.

발명의실시를위한최선의형태

[21] 이하에서는도면을참조하여본발명을보다상세 하게설명한다.

[22] 도 1은본발명의일실시예에따른를링-셔터보정 (Rolling Shutter Rectification) 방법의과정설명에제공되는도면이다.본발명� �실시예에따른를링 -셔터 보정방법은，를링-셔터를사용하는카메라에� �발생할수있는를링 -셔터 효과를측정 /보정한다.

[23] 롤링-셔터효과는카메라의움직임이빠를경우� �로관측되며프레임을

라인별로순차적스캔하는를링-셔터의특성때� �에관측되는왜곡현상이다. 를링-셔터를사용하는경우,프레임의각라인을� ��캔시작하는시간이다르기 때문에，프레임라인별로다른모션을가지게된 다.

[24] 이를해결하기위해서는,카메라의모션과라인� �로프레임을스캔시작하는 시간차를나타내는라인딜레이 [line delayft)]를추정하여글로벌셔터와같이 라인딜레이 (t를 0으로만드는모션을적용하여보정한다.

[25] 본발명의실시예에따른롤링-셔터보정방법은� � -프레임을이용한다. 여기서,키 -프레임이란,카메라의움직임이없고움직임객� �� (이동체)가없는 프레임으로,이와같은상황을인위적으로만들� �생성한프레임을말한다.

[26] 또한，본발명의실시예에따른를링-셔터보정� �법에서는，를링-셔터효과 측정과정을통해라인딜레이가추정되면,이후� �는키-프레임없이카메라의 자이로스코프 (Gyroscope)로각속도만을측정하여롤링 -셔터효과보정이 실시간으로가능하도록한다.

[27] 이를위해，본발명의실시예에따른를링 -셔터보정방법에서는，도 1에도시된 바와같이，먼저，롤링-셔터를사용하고있고� �이로스코프가내장된카메라를 턴-테이블 (Turn table)에올려놓고키 -프레임을획득한후에，턴-테이블을좌 /우로 회전시키며프레임을획득한다 (S 110).

[28] 본발명의실시예에서는,카메라모션을강체회� �변환 (Rigid-body

Rotation)으로가정하고있기때문에라인딜레이 ( )추정을위한입력프레임 . 또한순수회전변환을갖도록카메라를턴테이블 에올려놓고프레임을 취득하는것이다.

[29] 롤링 -셔터는라인단위로스캔이이루어지기때문에� �각라인의스캔시작 시점이각기달라라인별로다른모션을가지게되 는바，롤링 -셔터효과에의한 영상왜곡은전술한라인딜레이 [line delay(t 로표현할수있다.라인딜레이 ( )는이전라인의스캔시작시점과현재라인의스� �시작시점의시간차이다.

[30] 라인딜레이 ft)는 S110단계에서생성되는키-프레임과입력프레임� ��간의 특징점대웅관계를추출하여추정한다.

[31] 이를위해，먼저키-프레임과입력프레임간의� �징점매칭을통해프레임간 초기강체회전변환을추정하고，키 -프레임에서추출된특징점들을입력 프레임으로강체회전변환시켜입력프레임에서 추출된특징점들과

매칭시킨다 (S 120).

[32] 여기서，강체회전변환은키 -프레임시작시점부터입력프레임시작

시점까지의모션으로가정한다.강체변환된키-� ��레임의특징점들은롤링 -셔터 왜곡없이강체회전변환만에의한모션을갖는반 면，입력프레임의 특징점들은강체회전변환과를링 -셔터왜곡에인한모션을갖는다.

[33] 따라서，입력프레임의특징점들과강체회전변 환된키-프레임의특징점들 간의차이 (거리)가롤링 -셔터왜곡을나타낸다.

[34] 롤링 -셔터효과가없다면 (즉，글로벌셔터의경우에는)，강체회전변환� �� 키-프레임의특징점들과입력프레임의특징점� �은일치할것이다.하지만， 롤링 -셔터효과가있는경우,도 2에나타난바와같이,강체회전변환된 키 -프레임의특징점들과입력프레임의특징점들� �차이 (거리 )가발생하는데， 라인별차이가라인딜레이 (t에해당한다.

[35] 이에따라,변환된 ^' 키-프레임의특징점들과입력프레임의특� �점들간의 차이 (거리)들을계산하여라인딜레이 ft)를추정하게된다 (S130).

[36] 를링-셔터효과에의한왜곡은강체회전변환에� �인딜레이 (t,)를적용한 변환으로나타내며,강체회전변환은프레임간� �속도로변환하여사용한다. 최적화과정을통하여,입력프레임으로변환된� �-프레임의특징점들과이들에 대웅하는입력프레임의특징점들간의거리를최 소로하는라인딜레이 (to를 추정하며,이는아래의수학식 1과같다.

[37] [수학식 1]

^[38] x _t ^K = K . R _t ^K . K- ¹ . χ ^κ

y' _t ^K = K ' R _t (t _l , Y y _t ^K ) ' K- ¹ ' y _t ^K

τ

argmin _tl ^ \y't ^K 一

i=l χ ^κ 2Ό keyfraime feature points (In general, t = 1) x _t ^K : 2D keyframe feature points transformed by rigidhody rotation R _t ^K R _t ^K ： 3D Rotation between the keyframe and current frame t R _t ― R _t^ i ^K - R _t ^K : interfrctme 3D rotation between frame £— 1 and t

y _t ^K : 2D feature correspondence of x ^K at frame t γΊ ^Κ : 2D RDC of y _t ^K , Y ix): vertical position of x,T: sequence length R _t {t _t , 3D Rolling shutter rotation of x at frame t

[39] 이후， S130단계에서추정된라인딜레이 ( )와최적화된프레임간각속도를를 기초로，롤링 -셔터효과에해당하는모션을구하고이의역변� �을통하여 롤링 -셔터효과에의한왜곡을보정한다 (S 140).

[40] 이는，각속도와라인딜레이 ft)를아래의역회전변환식에대입하여，입력 프레임의롤링 -셔터효과에의한왜곡을보정할수있게된다.

[41] [수학식 2]

^[42] y ^K = K ^ R _t t _{l f} Y{y _t ^) ^ K-^ y _t ^K

[43] 한편, S110단계에서의턴-테이불의회전에의해，카메� ��의자이로 스코프에서는회전에상응하는각속도가측정된 다 (S 150).

[44] 하지만，카메라에의해생성되는영상과자이로 스코프에생성되는각속도는 동일한타임스램프를공유하지않기때문에,동� �화되어있지않다.또한， 자이로스코프의사양에따라 Drift와노이즈특성이다르다.

[45] 이때문에， S120단계를통해측정된프레임간각속도와 S150단계에서측정된 각속도를비교하여,자이로스코프에대한캘리� �레이션을수행하여 (S160), 자이로스코프에서측정된각속도가 S 120단계를통해측정된각속도와최대한 비슷해지도록보정한다 (S 170).이에,자이로스코프와카메라영상을

동기화시킬수있게된다.

[46] 이후，자이로스코프를통해획득되는각속도와 S130단계에서추정된타임 딜레이 ( )를이용하여,이후키-프레임없이도실시간으로 입력되는프레임에 대한를링 -셔터왜곡보정이가능해진다 (S180).

[47] 도 1에도시된롤링 -셔터보정방법에따른보정결과를도 3과도 4에

예시하였다.도 3과도 4의우측에는를링 -셔터효과에의해왜곡이발생한 영상들을,도 3과도 4의좌측에는롤링 -셔터보정이수행된영상들을，각각 나타내었다.

[48] 도 5는본발명의다른실시예에따른촬영장치의블� �도이다.본발명의

실시예에따른촬영장치는,도 5에도시된바와같이、카메라 (110)，자이로 스코프 (120),영상프로세서 (130)，프로세서 (140)및출력부 (150)를포함한다.

[49] 카메라 (110)는촬영을통해프레임들을획득하는데，획� ��되는프레임에는

키-프레임도포함된다.자이로스코프 (120)는카메라 (110)의각속도를측정하고， 측정된각속도를프로세서 (140)에전달한다.

[50] 영상프로세서 (130)는도 1에도시된롤링-셔터보정방법에따라

카메라 (110)를통해획득한프레임에서를링 -셔터효과에의한왜곡을보정하고， 프로세서 (140)는자이로스코프 (120)가측정한각속도를보정하여

카메라 (110)와자이로스코프 (120)간동기화를수행한다.

[51] 출력부 (150)는영상프로세서 (130)에서롤링 -셔터보정된영상이출력되는데， 디스플레이를통한출력은물론외부기기전송에 의한출력모두를포함한다.

[52] 지금까지，를링-셔터보정방법과이를적용한� �영장치에대해바람직한

실시예들을들어상세히설명하였다.

[53] 위실시예에서，를링 -셔터효과가발생하는상황으로카메라의회전� �

상정하였으나，회전이외의다른움직임에의해 를링 -셔터효과가발생하는 경우에도본발명의기술적사상이적용될수있다 .

[54] 아울러，타임딜레이추정을위해특징점들을추 출하여매칭하는기법을

사용하였으나다른기법을사용할수도있다.예� �들어，에지를추출하여 매칭하는기법을통해타임딜레이를추정하는것 이가능하다.

[55] 나아가，특정패턴이나마커가있는보드를촬영 하면서，타임딜레이추정을 위한캘리브레이션을수행하는것이가능하다.� �임딜레이추정에적합한 패턴 /마커가있는것으로족하며,그종류에대한제한� ��없다.

또한,이상에서는본발명의바람직한실시예에� �하여도시하고 설명하였지만，본발명은상술한특정의실시예 에한정되지아니하며， 청구범위에서청구하는본발명의요지를벗어남 이없이당해발명이속하는 기술분야에서통상의지식을가진자에의해다양 한변형실시가가능한것은 물론이고，이러한변형실시들은본발명의기술 적사상이나전망으로부터 개별적으로이해되어져서는안될것이다.