<第1の実施の形態>
 以下本発明の実施の形態について、図面を� ��照しながら説明する。

 図2は、本実施の形態における撮影装置100 0の構成を示すブロック図である。撮影装置10 00は、動画撮影機能を有するデジタルビデオ� ��メラまたはデジタルスチルカメラである。� ��お、撮影装置1000は、デジタルビデオカメラ またはデジタルスチルカメラに限定されるこ となく、動画撮影機能を有する装置であれば 、他の装置であってもよい。

 また、撮影装置1000は、撮影モードとして 、動画を通常速度で撮影するモード(以下、� �常撮影モードという)と、動画を高速に撮影� ��るモード(以下、高速撮影モードという)と� �有する。通常撮影モードで撮影された動画� �、一例として、1/60秒単位で撮影された複数� ��静止画像(フレーム)からなる動画であると� �る。また、高速撮影モードで撮影された動� �は、一例として、1/300秒単位で撮影された複 数の静止画像(フレーム)からなる動画である� ��する。

 図2に示されるように、撮影装置1000は、� �像部50と、データ記憶部60と、動画像再生装� ��100とを備える。

 データ記憶部60は、データを記憶するた� �のメモリである。

 撮像部50は、図示しないイメージセンサ� �有する。撮像部50は、通常撮影モードまたは 高速撮影モードで、イメージセンサを使用し て被写体を撮影する撮影処理を行ない、該撮 影処理により得られたデータを符号化する。

 撮像部50は、通常撮影モードで撮影処理� �行なう場合、イメージセンサから得られる� �数のRAWデータの各々に対し色補間処理(デモ� ��イク処理)を行なうことにより、当該複数の RAWデータを、複数のYUVデータに変換する。そ して、撮像部50は、当該複数のYUVデータを符� ��化した符号データ(以下、通常撮影符号デー タという)を生成する。そして、撮像部50は、 通常撮影符号データを、データ記憶部60に記� ��させる。

 通常撮影符号データは、動画像を構成す� ��複数のフレームを得るための複数の符号デ� ��タを含む。以下においては、通常撮影符号� ��ータに含まれる符号データを、通常符号デ� ��タという。通常符号データは、復号される� ��とにより、YUVデータとなる。通常撮影符号� ��ータに含まれる複数の通常符号データの各� ��は、復号が開始されるタイミング(以下、所 定タイミングという)が予め設定されている� �

 撮像部50は、高速撮影モードで撮影処理� �行なう場合、イメージセンサから得られる� �数のRAWデータを符号化した符号データ(以下� ��高速撮影符号データという)を生成する。そ して、撮像部50は、高速撮影符号データを、� ��ータ記憶部60に記憶させる。

 高速撮影モードで撮影処理を行なう場合� ��各RAWデータを処理する時間は、通常撮影モ� ��ドで撮影処理を行なう場合に比べ、非常に� ��くなる。この短い時間において、撮像部50� �色補間処理まで行なうと、単位時間当たり� �消費電力が高くなる。単位時間あたりの消� �電力が高くなれば、電源の補強が必要とな� �、装置のコストが増加する。そのため、撮� �部50は、単位時間当たりの消費電力を抑える ために、複数のRAWデータ各々に対し、色補間 処理(デモザイク処理)を行なわない。

 高速撮影符号データは、動画像を構成す� ��複数のフレームを得るための複数の符号デ� ��タを含む。以下においては、高速撮影符号� ��ータに含まれる符号データを、高速符号デ� ��タという。高速符号データは、復号される� ��とにより、RAWデータとなる。高速撮影符号� ��ータに含まれる複数の高速符号データの各� ��は、復号が開始されるタイミング(以下、所 定タイミングという)が予め設定されている� �

 本実施の形態においては、撮影装置1000に おいて、通常撮影モードで撮影している途中 で、高速撮影モードで撮影する処理が行なわ れたとする。この場合、データ記憶部60には� ��通常撮影符号データと、高速撮影符号デー� ��とが記憶される。また、撮影装置1000におい て、撮影処理が行なわれた場合、撮像部50は� ��撮影処理における各種情報を示す撮影設定� ��ータを、通常撮影符号データまたは高速撮� ��符号データに関連付けてデータ記憶部60に� �憶させる。

 以下においては、データ記憶部60に記憶� �れている、通常撮影符号データ、高速撮影� �号データおよび撮影設定データを、それぞ� �、通常撮影符号データNSD、高速撮影符号デ� �タHSDおよび撮影設定データSHDという。

 撮影設定データSHDは、画像サイズ情報、� ��生情報、時間情報、フレーム情報、撮影フ� ��ームレート情報等を示す。画像サイズ情報� ��、撮影により得られる動画像の画像サイズ( たとえば、横1280ドット、縦720ドット)を示す� ��以下においては、画像サイズが、横Kドット 、縦Lドットの場合、当該画像サイズを、“K� �L”と記載する。

 再生情報は、通常撮影符号データおよび� ��速撮影符号データの各々を特定する情報(例 えば、ファイル名)、通常撮影符号データお� �び高速撮影符号データの再生順等を示す。� �間情報は、通常撮影符号データおよび高速� �影符号データの各々を再生した場合におけ� �、動画像の再生時間を示す。フレーム情報� �、通常撮影符号データおよび高速撮影符号� �ータの各々を再生した場合における、動画� �のフレーム数を示す。

 撮影フレームレート情報は、通常撮影モ� ��ドまたは高速撮影モードにおいて、撮影処� ��を行なう場合のフレームレート(以下、撮影 フレームレートという)を示す。たとえば、� �影処理において、1/60秒単位で1フレームの撮 影が行なわれる場合、撮影フレームレート情 報が示す撮影フレームレートは、1/60となる� �

 図3は、本実施の形態における動画像再生 装置100の構成を示すブロック図である。動画 像再生装置100は、撮影装置1000における画像� �再生部に相当する。また、この動画像再生� �置100に含まれる各部を回路化し、集約した� �導体集積回路も同じく本発明に包含される� �

 図3の動画像再生装置100は、動画像復号部 101と、色補間部102と、復号制御部103と、記憶 部104と、表示部105とを備える。動画像復号部 101、色補間部102、復号制御部103および記憶部 104の各々は、電気回路で構成されてもよい。 この場合、電気回路で構成される、動画像復 号部101、色補間部102、復号制御部103および記 憶部104を備える動画像再生装置100は、半導体 集積回路である。

 記憶部104は、データを記憶するためのメ� ��リである。

 データ記憶部60に記憶されている通常撮� �符号データNSDを復号する場合、動画像復号� �101は、データ記憶部60に記憶されている撮影 設定データSHDが示す再生情報に基づいて、デ ータ記憶部60から通常撮影符号データNSDを読� ��出す。そして、動画像復号部101は、通常撮� ��符号データNSDに含まれる複数の通常符号デ� ��タを順次復号し、復号により得られた複数� ��YUVデータを、復号した順に記憶部104に記録� ��せる。

 データ記憶部60に記憶されている高速撮� �符号データHSDを復号する場合、動画像復号� �101は、データ記憶部60に記憶されている撮影 設定データSHDが示す再生情報に基づいて、デ ータ記憶部60から高速撮影符号データHSDを読� ��出す。そして、動画像復号部101は、高速撮� ��符号データHSDに含まれる複数の高速符号デ� ��タを順次復号し、復号により得られた複数� ��RAWデータを、復号した順に、色補間部102へ� ��信する。

 なお、動画像復号部101は、符号データ(通 常符号データまたは高速符号データ)の復号� �開始する毎に、復号開始通知信号DSNSを、復� ��制御部103へ送信する。

 色補間部102は、動画像復号部101からRAWデ� ��タを受信する毎に、受信したRAWデータに対� ��色補間処理(デモザイク処理)を行なうこと� �より、当該RAWデータをYUVデータに変換し、� �該YUVデータを記憶部104に記録させる。

 表示部105は、記憶部104に記録された複数� ��YUVデータの各々に基づく画像を、対応するY UVデータが記憶部104に記憶された順で表示す� ��。表示部105は、一例として、液晶パネルを� ��用した表示装置である。なお、表示部105は� ��液晶パネルを使用した表示装置に限定され� ��ことなく、たとえば、PDP(Plasma Display Panel)� ��使用した表示装置であってもよい。表示部1 05は、詳細は後述するが、表示更新信号Vsync� �、復号制御部103へ送信する。

 なお、動画像再生装置100は、記憶部104お� ��び表示部105を備えなくてもよい。この場合� ��記憶部104および表示部105は、動画像再生装� ��100の外部に設けられる。この場合、動画像� ��生装置100は、外部に設けられた記憶部104と� ��続される。また、この場合、動画像再生装� ��100は、記憶部104に記録された複数のYUVデー� ��の各々に基づく画像を、対応するYUVデータ� ��記憶部104に記憶された順で外部に設けられ� ��表示部105に表示させる処理を行なう。

 図4は、復号制御部103が行なう処理のフロ ーチャートである。

 まず、復号制御部103は、復号時間Aを算出 する(S111)。復号時間Aは、動画像復号部101が� �通常符号データまたは高速符号データを復� �するのに必要な時間である。

 また、復号制御部103は、変換時間Bを算出 する(S112)。変換時間Bは、色補間部102が、動� �像復号部101から受信するRAWデータをYUVデー� �に変換するのに必要な時間である。

 復号時間Aおよび変換時間Bと、処理対象� �データ(通常符号データ、高速符号データ、R AWデータ等)に対応する画像のサイズとは比例 関係がある。そのため、復号時間Aおよび変� �時間Bを算出するために、復号制御部103は、� ��め、基準となる画像サイズ、復号時間およ� ��変換時間を記憶(設定)しておく。

 たとえば、復号制御部103は、予め、基準� ��なる画像サイズ、復号時間および変換時間� ��して、VGAサイズ(640×480)、復号時間10msecおよ び変換時間5msecを記憶しているとする。

 復号制御部103は、データ記憶部60に記憶� �れている撮影設定データSHDが示す画像サイ� �情報が示す画像サイズに基づいて、復号時� �Aおよび変換時間Bを算出する。ここで、画像 サイズ情報が示す画像サイズが、HD(High Defini tion)サイズ(1280×720)であるとする。

 この場合、基準となる画像サイズ(640×480) の画像の画素数に対し、撮影設定データSHDが 示す画像サイズ情報が示す画像サイズ(1280×72 0)の画像の画素数は3倍である。そのため、復 号制御部103により算出される復号時間Aは、� �準となる復号時間10msecの3倍の時間である30ms ecとなる。また、復号制御部103により算出さ� ��る変換時間Bは、基準となる変換時間5msecの3 倍の時間である15msecとなる。

 また、復号制御部103は、表示更新時間Cを 取得する(S113)。表示更新時間Cは、表示部105� �表示する画像を更新するのに必要な時間で� �る。表示更新時間Cは、予め決まった時間で� ��る。ここで、表示部105が、1秒間に60フレー� ��の画像更新を行なう装置であるとする。こ� ��場合、表示更新時間Cは、1/60秒となる。表� �更新時間Cを示す表示更新情報は、予め、デ� ��タ記憶部60に記憶されているとする。この� �合、復号制御部103は、データ記憶部60に記憶 されている表示更新情報を参照することによ り、表示更新時間Cを取得する。

 また、復号制御部103は、調整可能時間Dを 算出する(S114)。調整可能時間Dは、データ記� �部60に記憶された複数の符号データ(通常符� �データまたは高速符号データ)を使用して、� ��画像を再生する場合において、1つの符号デ ータ単位で、該符号データの復号のタイミン グを早くすることが可能な時間である。

 調整可能時間Dは、(表示更新時間C-復号時 間A)の式により算出される。実際には、調整� ��能時間Dは、(表示更新時間C-復号時間A-オー� ��ーヘッド時間)の式により算出される。オー バーヘッド時間は、復号制御部103が、動画像 復号部101に対し、特定の符号データの復号の タイミングを早くするための設定を行なうの に必要な時間である。オーバーヘッド時間は 、予め設定した時間(例えば、0.7msec)としてお く。

 また、復号制御部103は、調整フレーム数E を算出する(S115)。調整フレーム数Eは、復号� �タイミングを早めるフレーム(符号データ)の 数である。調整フレーム数Eは、(変換時間B/� �整可能時間D)の式により算出される。

 また、復号制御部103は、調整開始フレー� ��番号SNおよび調整終了フレーム番号ENを算出 する(S116)。調整開始フレーム番号SNは、復号� ��タイミングを早める最初のフレーム(符号デ ータ)の番号である。また、調整終了フレー� �番号ENは、復号のタイミングを早める最後の フレーム(符号データ)の番号である。

 調整開始フレーム番号SNは、(通常撮影フ� ��ーム数NFN-調整フレーム数E+1)の式により算� �される。通常撮影フレーム数NFNは、通常撮� �符号データを再生した場合における動画像(� ��下、通常撮影動画像という)のフレーム数で ある。なお、本実施の形態では、通常撮影フ レーム数NFNは、調整終了フレーム番号ENと同� ��である。すなわち、通常撮影フレーム数NFN� ��算出することは、調整終了フレーム番号EN� �算出することになる。

 通常撮影フレーム数NFNは、(通常撮影再生 時間/撮影フレームレート)の式により算出さ� ��る。上記式において、通常撮影再生時間は� ��撮影設定データSHDが示す時間情報が示す通� ��撮影符号データの再生時における動画像の� ��生時間である。上記式において、撮影フレ� ��ムレートは、撮影設定データSHDが示す撮影� ��レームレート情報が示す撮影フレームレー� ��である。

 ここで、上記処理により算出された復号� ��間Aおよび変換時間Bが、それぞれ、15msecお� �び5msecであるとする。また、表示更新時間C� �、16.7msec(1/60秒)であるとする。また、オーバ ーヘッド時間は、0.7msecであるとする。この� �合、調整可能時間Dは、(表示更新時間C-復号� ��間A-オーバーヘッド時間)の式より、16.7-15-0. 7=1(msec)となる。

 また、この場合、調整フレーム数Eは、(� �換時間B/調整可能時間D)の式より、“5”とな る。

 ここで、通常撮影再生時間は、一例とし� ��、5秒であるとする。また、撮影フレームレ ートは、1/60であるとする。この場合、通常� �影フレーム数NFNは、(通常撮影再生時間/撮影 フレームレート)の式より、“300”となる。� �なわち、調整終了フレーム番号ENは、“300” となる。

 この場合、調整開始フレーム番号SNは、(� ��常撮影フレーム数NFN-調整フレーム数E+1)の� �より、“296”である。すなわち、復号のタ� �ミングを早める最初のフレーム(符号データ) の番号(調整開始フレーム番号SN)は、“296”� �ある。

 図5は、復号制御部103の内部構成を示すブ ロック図である。

 復号制御部103は、調整時間算出部1031と、 調整開始フレーム計算部1032と、復号データ� �ウント部1033と、カウント比較部1034と、復号 開始タイミング調整部1035とを含む。

 調整時間算出部1031は、データ記憶部60に� ��憶されている撮影設定データSHDを、データ� ��憶部60から読み出して、前述した処理(S111,S1 12)により、復号時間A、変換時間Bを算出する� ��また、調整時間算出部1031は、前述した処理 (S113)により、表示更新時間Cを取得する。ま� �、調整時間算出部1031は、前述した処理(S114)� ��より、調整可能時間Dを算出する。調整時間 算出部1031は、算出した調整可能時間Dを、調� ��開始フレーム計算部1032および復号開始タイ ミング調整部1035へ通知する。

 また、調整開始フレーム計算部1032は、通 知された調整可能時間Dを使用して、前述し� �処理により、調整フレーム数E、調整開始フ� ��ーム番号SNおよび調整終了フレーム番号ENを 算出する(S115,S116)。調整開始フレーム計算部1 032は、算出した調整開始フレーム番号SNおよ� ��調整終了フレーム番号ENを、カウント比較� �1034に通知する。

 復号データカウント部1033には、動画像復 号部101が符号データ(通常符号データまたは� �速符号データ)の復号を開始する毎に、動画� ��復号部101から、復号開始通知信号DSNSを受信 する。復号データカウント部1033は、復号デ� �タが復号された数をカウントするためのカ� �ンタDKを有する。カウンタDKの初期値は“0” である。

 復号データカウント部1033は、カウンタDK� ��値が“0”の場合、カウンタDKの値を、カウ� ��ト比較部1034に通知する。そして、復号デー タカウント部1033は、復号開始通知信号DSNSを� ��信する毎に、カウンタDKの値を“1”インク� ��メントする。復号データカウント部1033は、 カウンタDKの値を変更する毎に、変更後のカ� ��ンタDKの値を、カウント比較部1034に通知す� ��。

 カウント比較部1034は、復号データカウン ト部1033から通知されるカウンタDKの値が通知 される毎に、カウンタDKの値と、調整開始フ� ��ーム計算部1032から通知された調整開始フレ ーム番号SNおよび調整終了フレーム番号ENと� �比較する。カウント比較部1034は、カウンタD Kの値が、調整開始フレーム番号SN(例えば“29 6”)より1小さい値(例えば、“295”)となった� ��きに、調整開始指示を、復号開始タイミン� ��調整部1035へ送信する。

 調整開始指示は、調整開始フレーム番号S N~調整終了フレーム番号EN番目の符号データ� �各々の復号開始タイミングを、調整可能時� �Dだけ早くするための指示である。

 以下においては、H(自然数)番目のフレー� ��に対応する符号データを、単に、H番目の符 号データという。また、以下においては、H� �目の符号データから得られるYUVデータを、� �に、H番目のYUVデータという。

 復号開始タイミング調整部1035は、カウン ト比較部1034から調整開始指示を受信してい� �い場合、復号開始信号DSSを、表示更新時間C� ��過毎に、動画像復号部101へ送信する。前述� ��復号開始信号DSSとは、符号データの復号処� ��を動画像復号部101に行なわせるための信号� ��ある。前述の表示更新時間Cは、復号開始タ イミング調整部1035が表示部105から受信して� �る表示更新信号Vsyncにおける隣接する2つの� �ち上がり箇所の間の時間である。立ち上が� �箇所とは、信号のレベルが、Lレベルから、H レベルに変化する箇所である。

 動画像復号部101は、復号開始信号DSSを受� ��する毎に、H番目の符号データの復号処理を 開始するとともに、前述した復号開始通知信 号DSNSを、復号制御部103へ送信する。なお、H� ��目の符号データの復号処理が終了すると、� ��画像復号部101は、Hの値を1インクリメント� �る。すなわち、動画像復号部101は、復号開� �信号DSSを受信する毎に、H,H+1,H+2,・・・番目� ��符号データの復号処理を順次行なう。

 復号開始タイミング調整部1035は、カウン ト比較部1034から調整開始指示を受信した場� �、以下の調整処理Aを行なう。

 調整処理Aでは、復号開始タイミング調整 部1035が、1つ前の復号開始信号DSSを、動画像� ��号部101へ送信してから、(表示更新時間C-調� ��可能時間D)の式により算出される時間経過� �た時点で、復号開始信号DSSを、動画像復号� �101へ送信する処理(以下、送信調整処理とい� ��)を行なう。調整処理Aにおいて、送信調整� �理が、(調整終了フレーム番号EN-調整開始フ� ��ーム番号SN+1)の式により算出される回数(例� ��ば、“5”回)行なわれると、調整処理Aは終� ��する。

 すなわち、送信調整処理が行なわれる毎� ��、復号開始タイミング調整部1035が、復号開 始信号DSSを動画像復号部101へ送信するタイミ ングは、調整可能時間Dずつ早くなる。送信� �整処理が、たとえば、3回行なわれるとする� ��この場合、3回目の送信調整処理において、 復号開始信号DSSが動画像復号部101へ送信され るタイミングは、所定タイミングより、(3×� �整可能時間D)の式により算出される時間だけ 早いタイミングとなる。

 この場合、動画像復号部101は、復号開始� ��号DSSを受信すると、所定タイミングより調� ��可能時間Dだけ早いタイミングで、調整開始 フレーム番号SN(例えば“296”)番目の符号デ� �タの符号処理を開始する。

 図6は、符号データの復号処理を開始する タイミングを説明するための図である。図6� �おいて、複数の六角形の各々は、データ(符� ��データ)を示す。

 図6において、文字列「動画像復号部(通� �時)」に対応する(N-3)~(N+2)番目の符号データ� �、復号開始タイミング調整部1035が調整開始� ��示を受信してない場合において、動画像復� ��部101により復号処理が行なわれている状態� ��示す。この場合、復号開始タイミング調整� ��1035は、復号開始信号DSSを、表示更新時間C� �過毎に、動画像復号部101へ送信する。

 この場合、動画像復号部101は、複数の符� ��データ(N-3,N-2,・・・番目の符号データ)の復 号処理を、予め設定されている所定タイミン グ(時刻t1,t2,t3,・・・)において、順次開始す� ��。すなわち、動画像復号部101は、表示更新� ��間C経過毎に、符号データの復号処理を順次 行なう。

 たとえば、動画像復号部101は、N-3,N-2,N-1� �目の符号データの復号処理を、それぞれ、� �刻t1,t2,t3に開始する。

 図6において、文字列「動画像復号部(調� �時)」に対応する(N-3)~(N+2)番目の符号データ� �、復号開始タイミング調整部1035が調整開始� ��示を受信した場合において、動画像復号部1 01により復号処理が行なわれている状態を示� ��。

 図6は、前述した調整フレーム数Eが、“3� ��である場合において、各符号データが復号� ��れる状態を示す。この場合、一例として、� ��整開始フレーム番号SN番目の符号データは� �(N-3)番目の符号データであるとする。また、 一例として、調整終了フレーム番号EN番目の� ��号データは、(N-1)番目の符号データである� �する。

 この場合、復号開始タイミング調整部1035 は、前述した送信調整処理を、3回行なう。� �述したように、送信調整処理が行なわれる� �に、復号開始タイミング調整部1035が、復号� ��始信号DSSを動画像復号部101へ送信するタイ� ��ングは、調整可能時間Dずつ早くなる。

 これにより、復号開始タイミング調整部1 035は、たとえば、1番目の復号開始信号DSSを� �所定タイミング(時刻t1)より調整可能時間Dだ け早いタイミングで、動画像復号部101へ送信 する。また、復号開始タイミング調整部1035� �、たとえば、3番目の復号開始信号DSSを、所� ��タイミング(時刻t3)より(3×調整可能時間D)の 式により算出される時間だけ早いタイミング で、動画像復号部101へ送信する。

 この場合、動画像復号部101は、復号開始� ��号DSSを受信する毎に、所定タイミングより� ��いタイミングで、対応する符号データの復� ��処理を開始する。動画像復号部101は、たと� ��ば、1番目の復号開始信号DSSを受信すると、 所定タイミング(時刻t1)より調整可能時間Dだ� ��早いタイミングで、N-3(調整開始フレーム番 号SN)番目の符号データの復号処理を開始する 。

 動画像復号部101は、たとえば、3番目の復 号開始信号DSSを受信すると、所定タイミング (時刻t3)より(3×調整可能時間D)の式により算� �される時間だけ早いタイミングで、N-1(調整� ��了フレーム番号EN)番目の符号データの復号� ��理を開始する。

 次に、撮影装置1000において、通常撮影モ ードで撮影している途中で、高速撮影モード で撮影する処理が行なわれた場合に得られる 、時間的に連続する通常撮影符号データNSDお よび高速撮影符号データHSDを連続して再生す るための処理について説明する。

 まず、前述した調整処理Aが行なわれない 従来の処理において、時間的に連続する通常 撮影符号データNSDおよび高速撮影符号データ HSDが連続して再生される場合の処理について 説明する。

 図7Aは、調整処理Aが行なわれない場合に� ��いて、通常撮影符号データNSDおよび高速撮� ��符号データHSDが連続して再生される場合の� ��イミングチャートを示す。図7Aにおいて、� �数の六角形の各々は、データ(符号データ、R AWデータ、YUVデータ等)を示す。

 図7Aにおいて、文字列「動画像復号部」� �対応する複数の六角形の各々は、符号デー� �を示す。また、文字列「記憶部」に対応す� �複数の六角形の各々は、YUVデータを示す。

 本実施の形態では、一例として、1~(N-1)番 目の符号データは、通常撮影モードの撮影装 置1000が、撮影処理を行なうことにより得ら� �た符合データであるとする。また、本実施� �形態では、一例として、N~(N+S(2以上の整数))� ��目の符号データは、高速撮影モードの撮影� ��置1000が、撮影処理を行なうことにより得ら れた符合データであるとする。

 この場合、図7Aにおいて、(N-3)~(N-1)番目の 符号データの各々は、通常撮影符号データNSD に含まれる通常符号データである。また、図 7Aにおいて、N~(N+2)番目の符号データの各々は 、高速撮影符号データHSDに含まれる高速符号 データである。

 図7Aに示される期間Aは、前述した復号時� ��Aである。なお、図7Aに示される、文字列「� ��画像復号部」に対応する(N-3)~(N+2)番目の符� �データの復号時間は、復号時間Aである。

 図7Aは、一例として、動画像復号部101に� �り、所定タイミングである、時刻t1,t2,t3にお いて、それぞれ、N-3,N-2,N-1番目の符号データ( 通常符号データ)の復号が開始されているこ� �を示す。また、図7Aは、動画像復号部101によ り、所定タイミングである、時刻t4,t5,t6にお� ��て、それぞれ、N,N+1,N+2番目の符号データ(高 速符号データ)の復号が開始されていること� �示す。

 なお、動画像復号部101は、N-3,N-2,N-1番目� �符号データ(通常符号データ)については、復 号処理を行なうと同時に、復号処理により得 られたデータ(YUVデータ)を記憶部104に記憶さ� ��る処理を行なう。したがって、通常符号デ� ��タの復号が終了すると同時に、動画像復号� ��101が復号により得られたデータ(YUVデータ)� �記憶部104に記憶させる処理は終了する。

 なお、各符号データは、各時刻(時刻t1,t2, ・・・)から、復号時間Aが経過すると、動画� ��復号部101による復号が終了する。

 なお、図7Aの例では、色補間部102が、高� �符号データの復号の途中から、色補間処理� �行なう例を示す。すなわち、色補間部102は� �高速符号データが、所定部分以上復号され� �時点から、復号されたデータ(RAWデータ)に対 し、色補間処理を行なう。

 なお、高速符号データの復号が終了した� ��点から、色補間部102が、復号により得られ� ��データ(RAWデータ)に対し色補間処理を行な� �てもよい。

 図7Aは、色補間部102が、一例として、N番� ��の符号データ(高速符号データ)の復号が開� �されたとき(時刻t4)から、期間T1経過した時� �から、復号されたデータに対し、色補間処� �を開始する例を示す。図7Aにおいて、期間B� �、前述した変換時間Bである。

 また、色補間部102は、色補間処理を行な� ��対象となるデータ(RAWデータ)に対しては、� �補間処理と同時に、色補間処理により得ら� �たデータ(YUVデータ)を記憶部104に記憶させる 処理を行なう。したがって、RAWデータに対す る色補間処理が終了すると同時に、色補間部 102が色補間処理により得られたデータ(YUVデ� �タ)を記憶部104に記憶させる処理は終了する� ��

 表示部105は、図7Aに示されるような表示� �新信号Vsyncを、内部で処理している。表示部 105は、表示更新信号Vsyncにおける前述した立� ��上がり箇所のタイミング(例えば、時刻t11)� �おいて、既に記憶部104に記憶されているYUV� �ータに基づく画像を表示する。

 図7Aの例では、時刻t11において、動画像� �号部101が(N-3)番目のYUVデータを記憶部104に記 憶させる処理は終了してない。そのため、表 示部105は、記憶部104に記憶されている(N-4)番� ��のYUVデータに基づく画像を表示する。

 また、前述した調整処理Aが行なわれない 場合、時刻t51において、色補間部102がN番目� �YUVデータを記憶部104に記憶させる処理は終� �してない。そのため、表示部105は、記憶部10 4に記憶されている(N-1)番目のYUVデータに基づ く画像を表示する。

 すなわち、前述した調整処理Aが行なわれ ない場合、表示部105は、(N-1)番目のYUVデータ� ��基づく画像(フレーム)を2回表示することに� ��る。そのため、表示部105が表示する動画像� ��、不自然な動画像となる。したがって、表� ��部105が表示している動画像を見ているユー� ��は、動画像の不自然さを感じる。

 次に、撮影装置1000において、通常撮影モ ードで撮影している途中で、高速撮影モード で撮影する処理が行なわれた場合に得られる 、時間的に連続する通常撮影符号データNSDお よび高速撮影符号データHSDを連続して再生す る場合において、前述した調整処理Aを行な� �動画像再生装置100の処理(以下、動画像再生� ��理という)について説明する。この場合、通 常撮影符号データNSDおよび高速撮影符号デー タHSDは、データ記憶部60に記憶される。

 ここで、通常撮影符号データNSDは、300個� ��符号データ(通常符号データ)を含むとする� �また、高速撮影符号データHSDは、3000個の符� ��データ(高速符号データ)を含むとする。こ� �場合、データ記憶部60には、3300個の符号デ� �タが記憶されているとする。3300個の符号デ� ��タは、順序づけられてデータ記憶部60に記� �されている。この場合、1~300番目の符号デー タは、通常符号データである。301~3300番目の� ��号データは、高速符号データである。

 図7Bは、調整処理Aが行なわれる場合にお� ��て、通常撮影符号データNSDおよび高速撮影� ��号データHSDが連続して再生される場合のタ� ��ミングチャートを示す。図7Bが示す複数の� �角形は、図7Aが示す複数の六角形と同様なの で詳細な説明は繰り返さない。

 図8は、動画像再生処理のフローチャート である。図8において、ステップS211では、初� ��計算処理が行なわれる。初期計算処理では� ��前述した、図4のステップS111~S116の処理が行 なわれるので詳細な説明は繰り返さない。

 この処理により、算出された調整フレー� ��数E、調整開始フレーム番号SNおよび調整終� ��フレーム番号ENは、一例として、それぞれ� �“3”、“N-3”および“N-1”であるとする。

 前述したように、調整開始フレーム計算� ��1032は、算出した調整開始フレーム番号SN(“ N-3”)および調整終了フレーム番号EN(“N-1”)� ��、カウント比較部1034に通知する。なお、前 述したように、復号データカウント部1033は� �カウンタDKの値を、カウント比較部1034へ通� �する。

 ステップS212では、カウント比較部1034が� �現時点が、調整開始指示の送信タイミング� �あるか否かを判定する。調整開始指示の送� �タイミングは、最新のカウンタDKの値が、調 整開始フレーム番号SN(例えば、“298”)より1� ��さい値(たとえば、“297”)となったときで� �る。

 ステップS212において、YESならば、処理は 、後述するステップS221に移行する。一方、� �テップS212において、NOならば、処理はステ� �プS213に移行する。ここでは、現時点が、調� ��開始指示の送信タイミングでないとして、� ��理はステップS213に移行する。

 ステップS213では、復号処理が行なわれる 。復号処理では、まず、復号開始タイミング 調整部1035が、復号開始信号DSSを、動画像復� �部101へ送信する。動画像復号部101は、復号� �始信号DSSを受信すると、Q(自然数)番目の符� �データを、データ記憶部60から読み出すこと により取得する。なお、Qの初期値は“1”で� ��る。

 そして、動画像復号部101は、Q番目の符号 データに対し、復号処理を行なうと同時に、 復号処理により得られたデータがYUVデータで ある場合、当該YUVデータを記憶部104に記憶さ せる処理を行なう。

 なお、復号処理により得られたデータが� ��RAWデータである場合、動画像復号部101は、� ��られたRAWデータを色補間部102へ送信する。� ��補間部102は、受信したRAWデータに対し、色� ��間処理を行なう。なお、図7Bの例では、図7A と同様に、色補間部102が、高速符号データが 所定部分以上復号された時点から、復号され たデータ(RAWデータ)に対し、色補間処理を行� ��う例を示している。

 また、色補間部102は、色補間処理を行な� ��対象となるデータ(RAWデータ)に対しては、� �補間処理と同時に、色補間処理により得ら� �たデータ(YUVデータ)を記憶部104に記憶させる 処理を行なう。したがって、RAWデータに対す る色補間処理が終了すると同時に、色補間部 102が色補間処理により得られたデータ(YUVデ� �タ)を記憶部104に記憶させる処理は終了する� ��

 また、動画像復号部101は、Q番目の符号デ ータの復号処理を開始するとともに、前述し た復号開始通知信号DSNSを、復号制御部103へ� �信する。そして、動画像復号部101は、Qの値� ��“1”インクリメントする。

 復号制御部103内の復号データカウント部1 033は、前述したように、復号開始通知信号DSN Sを受信する毎に、カウンタDKの値を“1”イ� �クリメントする。復号データカウント部1033� ��、カウンタDKの値を変更する毎に、変更後� �カウンタDKの値を、カウント比較部1034に通� �する。

 ステップS214では、表示処理が行なわれる 。表示処理では、表示部105が、前述したよう に、表示更新信号Vsyncにおける前述した立ち� ��がり箇所のタイミングにおいて、既に記憶� ��104に記憶されているYUVデータに基づく画像� ��表示する。

 ステップS215では、復号制御部103が、次の 符号データがあるか否かを判定する。具体的 には、復号制御部103が、データ記憶部60に記� ��されている撮影設定データSHDが示す再生情� ��、フレーム情報等を参照して、次に復号す� ��き符号データがあるか否かを判定する。ス� ��ップS215において、YESならば、再度、ステッ プS212の処理が行なわれる。一方、ステップS2 15において、NOならば、この動画像再生処理� �終了する。ここでは、次の符号データがあ� �として、再度、ステップS212の処理が行なわ� ��る。

 そして、ステップS213,S214,S215の処理が複� �回繰り返された後、最新のカウンタDKの値が 、調整開始フレーム番号SNより1小さい値にな ったとする。この場合、ステップS212でYESと� �定され、処理はステップS221に移行する。

 ステップS221では、カウント比較部1034が� �調整開始指示を、復号開始タイミング調整� �1035へ送信する。前述したように、調整開始� ��示は、調整開始フレーム番号SN~調整終了フ� ��ーム番号EN番目の符号データの各々の復号� �始タイミングを、調整可能時間Dだけ早くす� ��ための指示である。

 復号開始タイミング調整部1035は、調整開 始指示を受信すると、前述した調整処理Aを� �なう。

 ステップS222では、前述した送信調整処理 が行なわれる。前述したように、送信調整処 理は、復号開始タイミング調整部1035が、1つ� ��の復号開始信号DSSを、動画像復号部101へ送� ��してから、(表示更新時間C-調整可能時間D)� �式により算出される時間経過した時点で、� �号開始信号DSSを、動画像復号部101へ送信す� �処理である。送信調整処理が行なわれる毎� �、復号開始タイミング調整部1035が、復号開� ��信号DSSを動画像復号部101へ送信するタイミ� ��グは、調整可能時間Dずつ早くなる。

 動画像復号部101は、復号開始信号DSSを受� ��すると、以下の復号処理Aを行なう。

 ステップS223では、復号処理Aが行なわれ� �。復号処理Aでは、動画像復号部101は、復号� ��始信号DSSを受信すると、Q番目の符号データ を、データ記憶部60から読み出すことにより� ��得する。

 そして、動画像復号部101は、Q番目の符号 データに対し、復号処理を行なうと同時に、 復号処理により得られたデータ(YUVデータ)を� ��憶部104に記憶させる処理を行なう。

 また、動画像復号部101は、Q番目の符号デ ータの復号処理を開始するとともに、前述し た復号開始通知信号DSNSを、復号制御部103へ� �信する。そして、動画像復号部101は、Qの値� ��“1”インクリメントする。

 なお、初めて、復号処理Aが行なわれる場 合、取得されるQ番目の符号データは、調整� �始フレーム番号SN(“N-3”)番目の符号データ� ��ある。この場合、(N-3)番目の符号データは� �図7Bに示されるように、所定タイミング(時� �t1)より調整可能時間Dだけ早いタイミングで� ��動画像復号部101により復号が開始される。� ��お、図7Bに示される各データの処理の説明� �、図7Aの説明と同様なので詳細な説明は繰り 返さない。

 ステップS224では、ステップS214の処理と� �様に表示処理が行なわれるので詳細な説明� �繰り返さない。

 ステップS225では、調整を終了するか否か が判定される。具体的には、復号開始タイミ ング調整部1035が、調整開始指示を受信した� �、復号開始信号DSSを、(調整終了フレーム番� ��EN-調整開始フレーム番号SN+1)の式により算� �される個数(例えば、3個)送信したか否かが� �定される。ステップS225において、YESならば� ��再度、ステップS215の処理が行なわれる。一 方、ステップS225において、NOならば、再度、 ステップS222の処理が行なわれる。

 ここでは、NOと判定され、再度、ステッ� �S222の処理が行なわれるとする。そして、ス� ��ップS222~S224の処理が3回繰り返されたとする 。

 この場合、図7Bに示されるように、調整� �了フレーム番号EN(“N-1”)番目の符号データ� ��、所定タイミング(時刻t4)より(3×調整可能� �間D)の式により算出される時間だけ早いタイ ミングで、動画像復号部101により復号が開始 される。また、この場合、ステップS225でYES� �判定され、再度、ステップS215の処理が行な� ��れる。

 以上説明した動画像再生処理が行なわれ� ��ことにより、図7Bに示されるように、動画� �復号部101により、複数の高速符号データ(N,N+ 1,N+2番目の高速符号データ)の各々の復号が開 始されるタイミングが、所定タイミング(時� �t4,t5,t6等)より(3×調整可能時間D)の式により� �出される時間だけ早いタイミングとなる。� �の場合、高速符号データの復号により得ら� �るデータ(RAWデータ)に対し、色補間処理を開 始するタイミングが、所定タイミングより、 (3×調整可能時間D)の式により算出される時間 だけ早いタイミングとなる。

 この場合、(3×調整可能時間D)の式により� ��出される時間は、複数の通常符号データお� ��び高速符号データの各々から取得される画� ��を、表示部105がシームレスに連続して表示� ��るのに必要な時間(以下、表示必要時間とい う)である。

 その結果、時刻t51において、色補間部102� ��N番目のYUVデータを記憶部104に記憶させる処 理は終了している。そのため、表示部105は、 記憶部104に記憶されているN番目のYUVデータ� �基づく画像を表示する。したがって、図7Aの ように、(N-1)番目のYUVデータに基づく画像が� ��2回表示されることを防止することができる 。

 すなわち、時間的に連続する通常撮影符� ��データNSDおよび高速撮影符号データHSDを連� ��して再生する場合において、時間的連続性� ��保ちつつ、N番目のYUVデータに基づく画像を 表示することができる。

 すなわち、時間的に連続する通常撮影符� ��データNSDおよび高速撮影符号データHSDを、� ��間的連続性を保ちつつシームレスに再生す� ��事が可能となる。すなわち、異なる2種類の 符号データに基づく動画像を、時間的連続性 を保ちつつシームレスに再生する事が可能と なる。そのため、異なる2種類の符号データ� �基づく動画像を再生する場合において、動� �像を視るユーザに違和感を抱かせないよう� �することができる。

 なお、本実施の形態では、図7Bに示され� �ように、色補間部102が、高速符号データが� �定部分以上復号された時点から、復号され� �データ(RAWデータ)に対し、色補間処理を行な っている。しかしながら、本発明は、この処 理に限定されることなく、高速符号データの 復号が終了した時点から、色補間部102が、復 号により得られたデータ(RAWデータ)に対し色� ��間処理を行なってもよい。

 たとえば、(3×調整可能時間D)の式により� ��出される時間が、変換時間B以上である場合 、色補間部102は、高速符号データの復号が終 了した時点から、復号により得られたデータ (RAWデータ)に対し色補間処理を行なえばよい� ��

 この場合においても、動画像復号部101に� ��り、複数の高速符号データの各々の復号が� ��始されるタイミングは、所定タイミングよ� ��変換時間Bだけ早いタイミングとなる。この 場合、変換時間Bは、複数の通常符号データ� �よび高速符号データの各々から取得される� �像を、表示部105がシームレスに連続して表� �するのに必要な時間である。この場合にお� �ても、時間的に連続する通常撮影符号デー� �NSDおよび高速撮影符号データHSDを、時間的� �続性を保ちつつシームレスに再生する事が� �能となる。

 <第1の実施の形態の変形例>
 第1の実施の形態では、復号のタイミングを 早くする符号データは、通常符号データのみ であった。本実施の形態の変形例では、複数 の高速符号データのうち、1番目の高速符号� �ータも、復号のタイミングを早くする符号� �ータの対象とする場合の処理(以下、動画像� ��生処理Aという)について説明する。

 図9は、本実施の形態の変形例において、 復号制御部103が行なう処理のフローチャート である。図9において、図4のステップ番号と� ��じステップ番号の処理は、第1の実施の形態 で説明した処理と同様な処理が行なわれるの で詳細な説明は繰り返さない。

 ステップS116Aでは、復号制御部103が、調� �開始フレーム番号SNおよび調整終了フレーム 番号ENを算出する。

 調整開始フレーム番号SNは、(通常撮影フ� ��ーム数NFN-調整フレーム数E+2)の式により算� �される。また、調整終了フレーム番号ENは、 (通常撮影フレーム数NFN+1)の式により算出さ� �る。なお、通常撮影フレーム数NFNは、ステ� �プS116の処理と同様に、(通常撮影再生時間/� �影フレームレート)の式により算出される。

 図10は、動画像再生処理Aのフローチャー� ��である。図10において、図8のステップ番号� ��同じステップ番号の処理は、第1の実施の形 態で説明した処理と同様な処理が行なわれる ので詳細な説明は繰り返さない。

 ステップS211Aでは、初期計算処理Aが行な� ��れる。初期計算処理Aでは、図9のステップS1 11~S116Aの処理が行なわれるので詳細な説明は� ��り返さない。

 この処理により、算出された調整フレー� ��数E、調整開始フレーム番号SNおよび調整終� ��フレーム番号ENは、一例として、それぞれ� �“3”、“N-2”および“N”であるとする。

 ステップS223Aでは、復号処理ANが行なわれ る。復号処理ANでは、動画像復号部101は、復� ��開始信号DSSを受信すると、Q番目の符号デー タを、データ記憶部60から読み出すことによ� ��取得する。

 そして、動画像復号部101は、Q番目の符号 データに対し、復号処理を行なうと同時に、 復号処理により得られたデータがYUVデータで ある場合、当該YUVデータを記憶部104に記憶さ せる処理を行なう。

 なお、復号処理により得られたデータが� ��RAWデータである場合、動画像復号部101は、� ��られたRAWデータを色補間部102へ送信する。� ��補間部102は、受信したRAWデータに対し、色� ��間処理を行なう。色補間部102は、色補間処� ��を行なう対象となるデータ(RAWデータ)に対� �ては、色補間処理と同時に、色補間処理に� �り得られたデータ(YUVデータ)を記憶部104に記 憶させる処理を行なう。

 また、動画像復号部101は、Q番目の符号デ ータの復号処理を開始するとともに、前述し た復号開始通知信号DSNSを、復号制御部103へ� �信する。そして、動画像復号部101は、Qの値� ��“1”インクリメントする。

 ステップS211A,S223A以外の処理は、第1の実� ��の形態で説明した処理と同様なので詳細な� ��明は繰り返さない。

 図11は、本実施の形態の変形例において� �時間的に連続する通常撮影符号データNSDお� �び高速撮影符号データHSDが連続して再生さ� �る場合のタイミングチャートを示す。図11が 示す複数の六角形は、図7Aが示す複数の六角� ��と同様なので詳細な説明は繰り返さない。

 図11において、文字列「動画像復号部」� �対応する複数の六角形は、符号データを示� �。(N-3)~(N-1)番目の符号データは、通常符号デ ータである。N~(N+1)番目の符号データは、高� �符号データである。すなわち、図10の動画像 再生処理Aが行なわれることにより、通常符� �データである(N-2)~(N-1)番目の符号データと、 高速符号データであるN番目の符号データと� �、所定タイミングより、早いタイミングで� �動画像復号部101により復号が開始される。

 すなわち、1番目の高速符号データも、復 号のタイミングを早くする符号データとする 場合であっても、第1の実施の形態と同様な� �果を得られる。

 すなわち、時間的に連続する通常撮影符� ��データNSDおよび高速撮影符号データHSDを、� ��間的連続性を保ちつつシームレスに再生す� ��事が可能となる。すなわち、異なる2種類の 符号データに基づく動画像を、時間的連続性 を保ちつつシームレスに再生する事が可能と なる。そのため、異なる2種類の符号データ� �基づく動画像を再生する場合において、動� �像を視るユーザに違和感を抱かせないよう� �することができる。

 図12Aは、デジタルスチルカメラとしての� ��影装置1000の概観図である。図12Bは、デジタ ルビデオカメラとしての撮影装置1000の概観� �である。

 (その他)
 本発明は、処理対象となる複数の符号デー� ��のうち、一部の符号データの復号のタイミ� ��グを早める処理について説明した。しかし� ��がら、これに限定されず、処理対象となる� ��数の符号データ全てを、所定のタイミング� ��り、前述した表示必要時間(例えば、(3×調� �可能時間D))だけ早いタイミングで復号を開� �してもよい。この場合においても、第1の実� ��の形態と同様な効果が得られる。

 なお、本発明は、図4、図8、図9、図10の� �ローチャートに示される各ステップを、コ� �ピュータに実行させるプログラムとしても� �現することもできる。また、本発明は、当� �プログラムを格納するコンピュータ読み取� �可能な記録媒体、集積回路としても実現す� �ことができる。

 今回開示された実施の形態はすべての点� ��例示であって制限的なものではないと考え� ��れるべきである。本発明の範囲は上記した� ��明ではなくて請求の範囲によって示され、� ��求の範囲と均等の意味および範囲内でのす� ��ての変更が含まれることが意図される。