<実施形態1>
 <概要>
 本発明に係る撮影装置は、撮影フレームレ� ��トの変更前の1フレームあたりの露光量と、 変更後の1フレームあたりの露光量とを概ね� �じとすることで、記録する映像信号の信号� �ベルの変動を防ごうとするものである。

 撮影フレームレートを切り替えたときに� ��光量を変えないためには、露光時間を変え� ��ければ良いが、撮影フレームレートによっ� ��1フレームに割り当てることができる最大の 露光時間が決められてしまうので、必要な露 光時間を確保できない場合がある。

 この場合、撮影フレームレートの切り替� ��時に、増幅率を上げるゲイン調整や、絞り� ��開く絞りの調整で対処することが考えられ� ��が、ゲイン調整の場合はノイズの急上昇が� ��想され、再生画面の画質を低下させるが汚� ��なる可能性があり、また、絞りを調整する� ��合は、絞りは機械的に行われることから時� ��を要し、シャッターチャンスを逃してしま� ��可能性がある。

 そこで、本発明では、撮影フレームレー� ��の切り替えを行う前に、準備期間を設ける� ��とで、通常フレームレートでの撮影(以下、 「通常撮影」という。)から高フレームレー� �での撮影(以下、「高速撮影」という。)への 移行を速やかに行い、且つ、再生映像の明る さが大きく変化すること、及び、画質が低下 することが無いようにするものである。尚、 本撮影装置では、準備期間を設けることがで きない場合、例えば、すぐに高速撮影する場 合にも、準備期間を設けた場合とほぼ同様な 再生ができるような対処を行っている。

 以下、本発明の実施形態における撮影装� ��について、図面を用いて説明する。

 フレームレートの切り替えがあっても、� ��生時には、切り替え前後の映像が滑らかに� ��り変わるような映像のことを、以下、シー� ��レスな映像ともいうものとする。また、断� ��が無ければ、通常撮影のフレームレートは6 0fps(frame per second)、高速撮影のフレームレー トは180fpsとする。

 <撮影装置の外観及び操作手順>
 まず、本発明に係る撮影装置の外観と、高� ��撮影する場合の操作手順を説明する。

 図1は、本発明の撮影装置1の外観を示す� �である。

 図1の上段の図は、撮影装置1の斜視図で� �り、図1の下段の図は、撮影装置1の背面図で ある。

 撮影装置1には、撮影ボタン2、電源スイ� �チ3、高速撮影モードスイッチ4、モードダイ ヤル5、レンズ6、ピント露出固定ボタン7、機 能ボタン8、機能ボタン上9、機能ボタン右11� �機能ボタン下13、機能ボタン左12、決定ボタ� ��10、表示ボタン14、キャンセルボタン15と高� ��撮影スイッチ16及び液晶モニタ17が備わって いる。

 高速撮影に関係する撮影ボタン2、高速撮 影モードスイッチ4、高速撮影スイッチ16の機 能を、図2を用いて以下に説明する。

 図2は、高速撮影に関係するボタン及びス イッチを示す図である。

 第1段目は、撮影ボタン2、高速撮影モー� �スイッチ4、高速撮影スイッチ16を上から見� �図であり、第2段目から第4段目は、それぞれ 、撮影ボタン2及び高速撮影スイッチ16が、押 されていない状態、半押しの状態、全押しの 状態を示す図である。尚、ここでは、撮影ボ タン2と高速撮影スイッチ16それぞれの状態を 示しており、撮影ボタン2と高速撮影スイッ� �16は連動して半押し状態等になるのではない 。

 また、左列は、高速撮影モードスイッチ4 が「OFF」の状態を示し、右列は、「ON」の状� ��を示す図である。高速撮影モードスイッチ4 の突起4aが、高速撮影スイッチ16側になって� �る状態が「ON」の状態である。

 撮影ボタン2は、通常撮影を行う場合に使 用するボタンであり、全押し状態で撮影装置 1は撮影を開始し、押してない状態に戻した� �きに撮影を終了する。

 高速撮影モードスイッチ4は、準備期間を 設けた高速撮影を行うことを設定するスイッ チである。

 また、高速撮影スイッチ16は、実際に高� �撮影を開始するスイッチであり、通常撮影� �に、全押し状態で高速撮影を開始し、押し� �いない状態に戻したときに高速撮影を終了� �通常撮影に戻る。

 ここで、高速撮影モードスイッチ4が「ON� ��又は「OFF」の状態での、撮影ボタン2及び高 速撮影スイッチ16が押下された場合に、撮影� ��置1ではどのような撮影を行うのかを、簡単 に説明する。

 高速撮影モードスイッチ4が「ON」の場合� ��、準備期間有りで高速撮影を行う場合であ� ��、押下されていない状態の撮影ボタン2aか� �、全押し状態の撮影ボタン2cになった時から 通常撮影を開始する。この状態で、押下され ていない状態の高速撮影スイッチ16bから、半 押し状態の高速撮影スイッチ16cになった時に 高速撮影の準備を開始し、全押し状態の高速 撮影スイッチ16dで高速撮影を開始する。

 また、高速撮影モードスイッチ4が「OFF」 の場合は、準備期間無しの高速撮影を行う場 合であり、押下されていない状態の撮影ボタ ン2dから、完全押し状態の撮影ボタン2fにな� �た時に通常撮影を開始する。この状態で、� �下されていない状態の高速撮影スイッチ16e� �ら、全押し状態の高速撮影スイッチ16gにな� �た時から高速撮影を開始する。

 以下、本発明の実施形態における撮影装� ��について、図面を用いて説明する。

 <構成>
 図3は、撮影装置1の構成を示す機能ブロッ� �図である。

 まず、一般的な撮影を、機能ブロックを� ��いて簡単に説明する。

 入射光30は、撮影レンズ・メカ機能6にお� ��て、フォーカス駆動部32により駆動される� �レンズ31から入射し、ズーム駆動部33により� ��動されるズームレンズ34により拡大、縮小� �れ、絞り駆動部35により駆動される絞り36に� ��り明るさを調整される。

 絞り36により明るさを調整された入射光30 は、CMOS(Complementary Metal-Oxide Semiconductor)もし� ��はCCD(Charge-Coupled Devices)等の撮像素子40に結� ��する。

 撮像素子40で光電変換された映像出力が� �フロンドエンド部50に入力され増幅器51によ� ��増幅された後、AD変換器52によりデジタル信 号に変換され、映像信号処理部54においてバ� ��ファメモリ90を使用して信号処理される。

 映像信号処理部54で処理された映像信号� �、圧縮回路で圧縮処理され、記録再生部の� �録部を介して、記録媒体91に記録される。

 フロントエンド部50は、更に、明度検出� �56、AGC(Automatic Gain Central)57、ノイズフィル� �74、ノイズを付加する機能を有するノイズ付 加部75を有する。

 撮影装置1は、更に、高速撮影時の制御を 行う高速撮影制御部48、フレームレートの変� ��を制御するフレームレート制御部60、シャ� �ター時間すなわち露光時間を制御するシャ� �ター時間制御部49、自動露出を行う露出制御 部76を備える。シャッター時間制御部49は、� �出休止時間制御部53を有する。実際の露光時 間は、露出時間の休止時間を制御して調整さ れ、露出休止時間制御部53がその調整を行う� ��

 また、撮影装置1は、絞り目標値算出部55� ��備える。この絞り目標値算出部55は、フレ� �ムレート切り替え時に、絞りをどのように� �整するかを算出する機能を有する。絞り目� �値算出部55は、通常撮影時のフレームレート 、露光時間、絞り度をそれぞれ記憶する第1� �レームレート、第1露光時間、第1絞りと、高 速撮影時のフレームレートを記憶する第2フ� �ームレート81と、これら記憶されている情報 からフレーム切り替え後の絞りである第2絞� �を算出する演算部82を備える。また、絞り目 標値55と露光時間目標値87を記憶する。絞り� �標値算出部55の詳細は、<絞り・露光時間� �移行処理>の項で説明する。

 更に、撮影装置1は、撮像素子40の感度を� ��定する印加電圧を変更させる感度制御部73� �、CPUを有して装置全体の制御を行う機能を� �する全体制御部100を備える。この全体制御� �100は、例えば、撮影ボタン2や高速撮影スイ� ��チ16の押下状態、具体的には、半押し状態16 c又は全押し状態16d、モード設定部42で設定さ れているモード、具体的には、高速撮影モー ド43又は通常撮影モード44の各状態を参照し� �高速撮影等を制御する。

 本撮影装置1は、大きく分けて2つの特徴� �有する。1つは撮影方法であり、もう1つは記 録方法である。撮影方法については、本実施 形態1で説明する。

 記録方法については、実施形態2で説明す るものとし、映像信号処理部54については、� ��施形態2で説明する。

 <フレームレートを上げる方法>
 ここで、フレームレートを上げた場合の、� ��像素子の走査方法について簡単に説明する� ��

 フレームレートを上げる場合の走査方式� ��して、高速走査方式以外に、n画素混合方式 と間引き方式がある。

 このn画素混合方式と間引き方式とについ て、図4を用いて説明する。

 図4は、n画素混合方式と間引き方式を示� �図である。

 左図は、n画素混合方式の例、真ん中の図 は、通常撮影時の全ライン走査の例、右図は 、間引き方式の例を示す。ここでは、n画素� �合方式の例として4画素混合方式83を、間引� �方式の例として1/5の間引き方式84を示してい る。

 右図の1/5の間引き方式84では、フレーム� �ートは通常撮影の5倍の300fpsになり、左図の4 画素混合方式83は4倍の240fpsとなる。従って、 4画素混合方式83と1/5の間引き方式84とを採用� ��れば、1つの撮影装置で240fpsと300fpsの2つの� �レームレートでの高速撮影が可能となる。

 左図に示すように、n画素混合方式の場合 はn画素を混合(加算)するため、露光時間が1/4 になっても明るさは変わらない。従って、再 生画面が暗くなるという問題は生じ得ない。 即ち、露光時間の調整や絞りの開放等の処理 は必要ない。

 一方、右図に示すように、間引き方式の� ��合は、低いフレームレートから高いフレー� ��レートに変更した場合は、画素の数が減り� ��面が暗くなることから、露光時間の調整や� ��りの開放が必要となる。

 本撮影装置1では、240fpsと300fpsの2つのフ� �ームレートでの高速撮影を可能とし、フレ� �ムレートに応じて、フレームレート変換時� �露光時間や絞りを変える処理を行ったり、� �わなわなかったりする。

 以下、間引き方式の場合についてのみ説� ��する。

 <撮影装置1の撮影方法>
 図5~図13を用いて本発明の撮影方法を説明す る。まず、準備期間を設ける場合と、設けな い場合の2つに分けて説明する。

  <準備期間を設ける場合>
 まず、準備期間を設ける場合の高速撮影に� ��いて、図5~図9を用いて説明する。

 図5は、準備期間を設けた高速撮影方法を 示す図である。

 本図は、通常撮影から高速撮影を行い、� ��び通常撮影に戻る場合の、トリガ、絞り、� ��光時間、増幅率等のタイムチャートを示す� ��

 具体的には、第1段目は、動作の契機を示 すトリガのタイムチャートであり、縦軸の「 1」は高速撮影スイッチ16の半押し状態を示し 、「2」は全押し状態を示す。また、第2段目� ��、絞りのタイムチャートであり、縦軸は絞� ��の開き具合を示す。第3段目は、露光時間の タイムチャートであり、縦軸はフレーム毎の 露光時間の長さを示す。更に、第4段目は、� �幅率のタイムチャートであり、縦軸は増幅� �の高さを示す。

 次に、第5段目は、撮影モードのタイムチ ャートであり、フレーム遷移表200は、通常速 度撮影から高速度撮影に移行する前後に撮影 するフレームのタイムチャートを示す。フレ ーム遷移表200の上部の「t3」等は、トリガ等� ��タイムチャートの「t3」等を示すものとす� �。

 まず、一連の動作を、トリガのタイムチ� ��ートと撮影モードのタイムチャートとを参� ��しながら、各撮影モードにおける絞り、露� ��時間、増幅率の変化を説明する。

 撮影ボタン2を押すと通常速度で撮影を開 始する。t=t0時に示すように、通常の絞り、� �光時間で通常速度45で撮影する。このとき、 高速撮影モードスイッチ4は「ON」の状態とし ておくものとする。

 通常撮影を行っている途中で、高速撮影� ��イッチ16が押下され、半押し状態(16c:第1ト� �ガ)になると、通常モード46から高速度撮影� �備モード47に移行する。

 この高速度撮影準備モード47の間に、1フ� ��ームあたりの露光量を変えないように、絞� ��を開け、同時に、露光時間を短くしていく� ��本図では、t1~t2の間に、絞りを開けると共� �露光時間を短くし、t2の時点での露光時間が 、高速撮影に移行した場合の1フレームあた� �の時間となったら、その状態を保ちつつ通� �撮影を行う。絞りと露光時間をどのように� �御するかは、後で<絞り・露光時間の移行� ��理>の項で説明する。

 その後、高速撮影スイッチ16が全押し状� �(第2トリガ)になると、高速度撮影準備モー� �47から高速撮影モード70に移行し、t4の時点� �ら実際に高速度撮影が行われる。このフレ� �ムレートが切り替わる時(以下、「変換点」� ��いう。)t4の前後のt3からt5間のフレームレー トの切り替わりをフレーム遷移表200に示して いる。変換点t4の後は、180fpsで撮影され、時� ��が1フレームあたり1/180秒ずつ増加している� ��とを表している。

 高速撮影を終了するため、高速度撮影ス� ��ッチ16を押されていない状態(16b:第3トリガ)� ��戻すと、高速撮影モード70から通常速度撮� �準備モード47aに移行し、その後、通常モー� �46aに移行する。通常速度撮影準備モード47a� �移行した時点であるt7の時点から、通常速度 撮影は再開されている。この変換点t7の前後� ��t6からt8間のフレームレートの切り替わりを フレーム遷移表200に示している。

 この通常速度撮影準備モード47aでは、高� ��度撮影準備モード47で行った動作と逆の動� �、すなわち、絞りを閉めつつ、露光時間を� �くしていき、通常モード46の絞りと露光時間 とする。

 本図では、増幅率のタイムチャートにお� ��て、高速撮影を行っている期間t4~t7で増幅� �を上げている。これは、通常撮影モードに� �べて高速度撮影モードの方が実質的な露光� �間が少なくなるからである(露光時間のタイ� ��チャートのt4~t7参照。)。本実施形態では、� ��直ブランキング期間を考慮に入れずに高速� ��撮影準備モード47で露光時間を決定してい� �からであり、垂直ブランキング期間を考慮� �入れた場合、あるいは、垂直ブランキング� �間が垂直同期周期に対して無視できるレベ� �である場合は、増幅率を上げる必要はない� �

 本実施形態では、露光時間のt4~t7にかけ� �の露光時間の減少への対処として、増幅器� �ゲインをt4のタイミングで上げ、変換点t4及� ��t7における映像信号の明るさレベルの変化� �より小さくしている。この減少分を絞りで� �応させることは、追従速度の面から困難で� �るからである。

 次に、図6を用いて、露光時間と蓄積電荷 と絞りの調整を説明する。

 図6は、フレームレートを切り替える場合 に、準備期間の無い場合と準備期間の有る場 合の蓄積電荷を示す図である。第2段目~第4段 目は準備期間の無い場合を、第6段目~第8段目 は準備期間の有る場合を示す。

 第1段目は、トリガのタイムチャートであ り、第2段目と最下段である第8段目は、絞り� ��タイムチャートである。これらは、図5のも のと同様である。

 第3段目は、露光時間のタイムチャートで あるが、図5のものとは異なり、露光時間の� �さを横軸で表している。

 次に、第5段目は、蓄積電荷を読み出す蓄 積する走査ラインを示している。高速撮影の 場合は、いわゆる間引き方式を行っている。

 第4段目と第6段目とは、蓄積電荷のタイ� �チャートであり、縦軸が蓄積されている電� �量を示し、本図では、一定の入射光量の条� �での電荷量の変化を示している。横軸の両� �矢印S1~S9は蓄積している時間、すなわち、露 光時間を示している。

 第6段目は、シャッターのタイムチャート であり、縦矢印80a、80b、80c、80d等はシャッタ ー時間を表しており、矢印が長いほどシャッ ター時間が長いことを示している。実際には 、シャッター時間とは、電荷の蓄積時間、即 ち露光時間を意味し、本図では、S1~S9の両端� ��印と対応している。

 尚、本図での時間t0等は、図5のt0等と合� �せているが、説明の便宜上t2~t4は省略してい る。

 まず、準備期間が無く、フレームレート� ��変えた場合を説明する。

 第2、3、4段目のタイムチャートを見ると� ��絞りを変えない場合は、露光時間はフレー� ��レートの1フレームあたりの時間となり、蓄 積電荷はフレームレートが上がれば、その分 蓄積電荷は少なくなる。すなわち、再生画面 が暗くなる。

 第5段目に示すような、間引き走査方式の 場合は、例えば2つの走査線を間引いて3倍に� ��速化した場合、実質的な光量が約1/3になる� ��

 詳細には、通常撮影時の1フレーム当たり の露光時間が、高速撮影時の1フレーム当た� �の露光時間より長い場合は(第32段目の露光� �間のタイムチャート参照)、蓄積電荷は変換� ��において急激に、かつ大幅に減少する(第4� �目の蓄積電荷のタイムチャート参照)。

 このように、通常撮影時と高速撮影時の� ��るさが異なるため、再生した時に明るさが� ��換点の前後で極端に暗くなり、仮にゲイン� ��加えて明るさを合わせてもノイズが増える� ��め変換点で視聴者に違和感を与えることに� ��る。すなわち、フレームレートの切り替え� ��において実質的な明るさが急激に暗くなる� ��め、明るさの面で再生画像がシームレスに� ��生されないという課題が生ずる。

 次に、準備期間を設けて、フレームレー� ��を変えた場合を説明する。

 第6段目の蓄積電荷のタイムチャートのよ うに、第1トリガが入力されたt1から、露光時 間をS1、S2、S3と徐々に短くして、第2トリガ� �入力されたt4でフレームレートを切り替える 時には、変更後のフレームレートで確保でき る最大の露光時間Smaxとなるようにする。

 それと同時に、第8段目の絞りのタイムチ ャートで示すように、蓄積電荷の値が一定に 保たれるように、t1~t2(t4)の間に絞りを徐々に 開けていく。

 このように露光時間と絞りを制御して露� ��時間を事前に短くしておくことで、トリガ2 が入力されたときに直にフレームレートを切 り替えたとしても、1フレームあたりの蓄積� �荷が少なくなることはなく、再生画面が暗� �なることもない。

 図6では、準備期間中に、露光時間を徐々 に短くしていく場合を説明したが、準備期間 に露光時間を変更しなくても良い場合がある 。

 このような場合を、図7を用いて説明する 。

 第1段目~第8段目までのタイムチャートは� ��図6と同様である。

 本図では、露光時間を変更する必要が無� ��場合と、変更の必要が有る場合とを説明す� ��。第2段目~第4段目は露光時間を変更する必� ��が無い場合を、第6段目~第8段目は露光時間� ��変更する必要が有る場合を示す。

 第6段目~第8段目は露光時間を変更する必� ��が有る場合は、図6の準備期間の有る場合と 同じであるので、ここでは、第2段目~第4段目 の露光時間を変更する必要が無い場合のみ説 明する。

 露光時間を変更する必要が無い場合とは� ��言い換えれば、露光時間が既に変更後のフ� ��ームレートの1フレームあたりの最大露光時 間と等しいか短い場合である。この様な状況 は、例えば入射光が非常に強く絞りだけでは 露出オーバーとなってしまう場合に生じる。

 第3段目の露光時間のタイムチャートで示 されるように、フレームレート切り替え前の 露光時間61a、61b、61cは、切り替え後の露光時 間の最大値Smax89より小さいか、略等しい。こ の場合は、フレームレート変更後も露光時間 を短縮しなくても実質的な明るさを確保でき るため、露光時間を変える必要も、第2段目� �絞りのタイムチャートで示されるように、� �りを変える必要も無い。

 従って、この場合は、準備期間が無くて� ��、高速撮影に入ることが可能となる。

 本撮影装置は、このように、入射光量が� ��い時はフレームレート変更時に露光時間や� ��りを調整せず、入射光量が少ない時はフレ� ��ム変更時に露光時間や絞りを大きく変化さ� ��ることで、1フレームあたりの露光量をほぼ 一定としている。

   <絞りで調整できない場合>
 ここでは、露光時間が短くなる場合に、絞� ��を開けることで露光量を確保しようとした� ��、絞りが全開となって露光量を確保できな� ��場合の対処方法について説明する。

 図8は、絞りで調整ができない場合の高速 撮影方法を示す図である。

 本図は、図5と同様に、通常撮影から高速 撮影を行い、再び通常撮影に戻る場合の、絞 り、露光時間、増幅率、ノイズフィルタ、撮 影モードのタイムチャートと、フレーム遷移 表を示す。尚、トリガのタイムチャートは省 略しているが、図5と同様のタイミングでト� �ガが発生するものとする。

 絞りによっては露光量が確保できない場� ��、増幅器によるゲイン調整のみで露光量を� ��保しようとすると、変換点において、ノイ� ��が急上昇するという欠点が想定される。

 第1段目の絞りのタイムチャートに示すよ うに、絞りを変更しない場合は、t4~t7の期間� ��高速化により実質的な露光時間が短くなり� ��露光量が減少する(第2段目の露光時間のタ� �ムチャート参照)。

 露光量の不足分を補うため、増幅率を、t 4~t7の期間上げることにより映像信号の明る� �を変化しない方向に制御する(第3段目の増幅 率のタイムチャート参照)。

 この場合、t4~t7の期間中のノイズが増え� �ため、ノイズフィルタ74をAD変換器52の前に� �れて、動作させる(第4段目のノイズフィルタ のタイムチャートの「ON」参照)。または、ノ イズフィルタの減衰率を大きくすることによ り、ノイズの発生を目立たなくさせる。これ により、よりシームレスな映像を撮影できる こととなる。

 さらに、変換点におけるノイズの増加を� ��立たなくさせるもう1つの方法として、意図 的にノイズを加える方式がある。

 ノイズを付加する方法を、図9を用いて説 明する。

 図9は、ノイズを付加する場合の高速撮影 方法を示す図である。

 本図は、図5と同様に、通常撮影から高速 撮影を行い、再び通常撮影に戻る場合の、絞 り、露光時間、増幅率、ノイズフィルタ、付 加ノイズ、ノイズ、撮影モードのタイムチャ ートと、フレーム遷移表を示す。尚、トリガ のタイムチャートは省略しているが、図5と� �様のタイミングでトリガが発生するものと� �る。

 付加ノイズのタイムチャートは、付加す� ��ノイズを表し、ノイズのタイムチャートは� ��実際に生ずるノイズ、すなわち、付加され� ��ノイズと増幅によるノイズの双方合わせた� ��のを表す。

 高速度撮影の準備期間(t1~t4)に、ノイズ77� ��発生させ(第5段目の付加ノイズのタイムチ� �ート参照)、徐々にノイズレベルを上げてい� ��、高速撮影時に発生するノイズレベルNL1ま� ��上げていく。

 この手法によりt4とt7におけるノイズの急 激な増加を緩和することができるため、通常 速度撮影モードと高速度撮影モードの変換点 の映像がよりシームレスになるという効果が ある。

  <準備期間を設けない場合>
 次に、準備期間を設けないで高速撮影に入� ��場合や、準備期間を設けるモードになって� ��るが準備期間が殆ど設けられない場合につ� ��て、図10と図11とを用いて説明する。

 具体的には、高速撮影モードスイッチ4が 「OFF」の場合に、高速撮影スイッチ16を完全� ��し状態にした場合と、高速撮影モードスイ� ��チ4が「ON」の場合に、高速撮影スイッチ16� �半押し状態が殆ど無しで、完全押し状態に� �た場合である。

 絞りを垂直ブランキング期間に変更でき� ��ならば、直に高速撮影に移ったとしても露� ��量は変わらないが、絞りは機械的に変える� ��め、追従時間は10~15msec程度の長い時間を要� ��るため、垂直ブランキング期間に絞りを変� ��ることは難しい。そこで、本発明では以下� ��ような方法を取るものである。

 図10は、準備期間無しの高速撮影方法を� �す図である。

 本図は、図5と同様に、通常撮影から高速 撮影を行い、再び通常撮影に戻る場合の、ト リガ、絞り、露光時間、増幅率、ノイズフィ ルタ、撮影モードのタイムチャートと、フレ ーム遷移表を示す。ただし、高速度撮影準備 モードと通常速度撮影準備モードとは設けら れていない。

 高速撮影開始のトリガである第1トリガ88� ��受けて、直接、通常速度撮影から高速度撮� ��に移る際の手順を説明する。

 第1トリガ88を受けたt4から、高速撮影終� �のトリガである第2トリガ79を受けるt7までの 間、高速撮影を行う場合を説明する。

 t4で高速撮影スイッチ16が押下されるまで 、通常速度で撮影しており、t4において、フ� ��ームレートが通常速度から高速度に変わる� ��

 この瞬間に露光時間が1/3になるため(第3� �目の露光時間のタイムチャート参照)、絞り� ��標値まで絞りを開ける作業を開始する(第2� �目の絞りのタイムチャート参照)。絞り目標� ��については、後の<絞り・露光時間の移行 処理>の項で説明する。

 また、t4~t6において、開かれていく絞り� �合わせて増幅率を下げるとともに(第4段目の 増幅率のタイムチャート参照)、ノイズフィ� �タの減衰率を下げる(第5段目のノイズフィル タのタイムチャート参照)。

 t6において絞りが絞り目標値に到達する� �、増幅率とノイズフィルタも通常撮影時の� �に戻ることになる。

 t7において、第2トリガ79を受けると、t4~t6 の逆の動作を行う。

 具体的には、t7の時点で、フレームレー� �を高速度から通常速度に戻し、t7~t9の期間に 、絞りを閉めるとともに増幅率とノイズフィ ルタ特性とを上げていく。

 絞りが元の絞り値に戻った瞬間であるt9� �おいて、露光時間を通常速度撮影時の値に� �す(第3段目の露光時間のタイムチャート参照 )。

 このように、絞り、増幅率、ノイズフィ� ��タを調整することで、高速度撮影と通常速� ��撮影の間がシームレスに撮影される。

 この方式では、高速撮影命令を受けると� ��時にフレームレートを高速化するとともに� ��増幅率を同時に上げるため、高速撮影スイ� ��チ16が押されると同時に高速度撮影モード� �入ることが可能となる。このため高速撮影� �の切り替わりが迅速であり、重要なシーン� �シャッターチャンスを逃すことがなくなる� �いう利点がある。

 次に、図11を用いて、絞りと増幅率の調� �を説明する。

 第1段目~第8段目までのタイムチャートは� ��図6と同様である。第9段目は、増幅率のタ� �ムチャートである。

 本図では、被写体が明るく露光時間を変� ��する必要が無い場合と、被写体が暗く露光� ��間を変更の必要が有る場合とを説明する。� ��2段目~第4段目は露光時間を変更する必要が� ��い場合を、第6段目~第9段目は露光時間を変� ��する必要が有る場合を示す。

 被写体が明るい場合は、露光時間を変え� ��必要がないため、絞りを変えずに、高速撮� ��に移行する。

 一方、被写体が暗い場合は、高速度撮影� ��始のトリガである第1トリガ88が入ると、露� ��時間を短くする(第7段目の露光時間のタイ� �チャート参照)。

 露光時間を短くすると同時に、ゲインを� ��激に上げ(第9段目の増幅率のタイムチャー� �参照)、絞りを開け始める(第8段目の絞りの� �イムチャート参照)。

 その後、t3からゲインを下げ始める(第9段 目の増幅率のタイムチャート参照)。

 このように、絞り、増幅率を調整するこ� ��で、高速度撮影と通常速度撮影の間がシー� ��レスに撮影され、再生映像の明るさの不連� ��性は緩和される。

  <変形例>
 上述した高速撮影方法の変形例を2つ説明す る。

 まず1つ目の変形例を、図12を用いて説明� ��る。

 図12は、通常撮影から高速撮影には直に� �り替わるが、高速撮影から通常撮影に戻る� �きは徐々に戻す方法を示す図である。

 すなわち、通常撮影から高速撮影に変わ� ��時は、シャッターチャンスを逃さないよう� ��、早いレスポンスが要求されるためであり� ��一方、高速撮影を終了する時は、それほど� ��スポンスが要求されないためである。

  本図は、図10と同様に、通常撮影から高 速撮影を行い、再び通常撮影に戻る場合の、 トリガ、絞り、露光時間、増幅率、ノイズフ ィルタ、撮影モードのタイムチャートと、フ レーム遷移表を示す。

 t4で、高速撮影開始トリガである第1トリ� ��88を受けた後の、t4~t6期間の動作は、図10に� ��した方式と同じである。すなわち、t4にお� �て第1トリガ88が入ると同時に増幅率を上げ� �絞りを開けていく。

 一方、t8において高速撮影終了トリガで� �る第2トリガ79を受けたあとの動作は図10とは 異なる。

 本変形例では、t8において第2トリガ79を� �けたら、増幅率を変えないで、徐々に絞り� �閉める(第2段目の絞りのタイムチャート参照 )と同時に、露光時間を増加させる(第3段目の 露光時間のタイムチャート参照)。

 そして、t8の時点でフレームレートは通� �速度に戻される。

 この方式では、通常撮影から高速撮影に� ��わる時は、第1トリガが入った瞬間に高速撮 影に切り替わりシャッターチャンスは逃さな いものの、画質は若干劣化することとなる。 すなわち、信号レベルの低下が防げれば、増 幅する必要を最小限とすることが可能となり 、画質の低下を抑えることができるようにな る。

 一方、高速度撮影を終了して通常撮影に� ��るときは、ゲインを変えないで絞りを徐々� ��閉めていくことにより、ノイズの発生を抑� ��し、高速度撮影終了時の映像の画質の劣化� ��少ないという利点がある。

 次に、図13を用いて、2つ目の変形例を説� ��する。

 図13は、通常撮影から高速撮影に切り替� �る場合に時間を要する方法を示す図である� �

 1つ目の変形例では、高速撮影開始トリガ である第1トリガ88を受けると、直に高速撮影 を開始するが、若干画質が劣化するものであ った。本変形例では、若干送れて高速撮影を 開始するが、画質が劣化しない例である。

 通常撮影から高速撮影に変わる時は、シ� ��ッターチャンスを逃さないように、早いレ� ��ポンスが要求される場合が多いが、本変形� ��は、若干高速撮影の開始が遅れても画質の� ��さが要求される場合に適している。

  本図は、図12と同様に、通常撮影から高 速撮影を行い、再び通常撮影に戻る場合の、 トリガ、絞り、露光時間、増幅率、撮影モー ドのタイムチャートと、フレーム遷移表を示 す。尚、ノイズフィルタのタイムチャートは 記載されていない。また、本図の増幅率のタ イムチャートは、図5のものと同様に、必須� �はない。

 t1において、高速度撮影開始のトリガで� �る第1トリガ88を受けると、t1~t3の間のT1の期� ��中に、絞りを開けるとともに露光時間を短� ��していく(第2段目の絞りのタイムチャート� �び第3段目の露光時間のタイムチャート参照) 。

 露光時間が高速撮影用の長さになったt3� �時点で高速度撮影に入る。

 t6において、高速撮影終了のトリガであ� �第2トリガ79を受けると、高速撮影から通常� �影に戻る。そして、t6~t8の間のT2の期間中に� ��絞りを閉めていくことに連動して露光時間� ��増やしてゆく(第2段目の絞りのタイムチャ� �ト及び第3段目の露光時間のタイムチャート� ��照)。

 t8において、絞りと露光時間は通常撮影� �と同じ値になる。

 この方式では、T1よりT2の方が大きいよう に制御する。この理由は通常撮影から高速撮 影に移行する時に、この移行時間が長いとシ ャッターチャンスを逃す可能性があり、移行 時間は少ないことが最も重要であるからであ る。従って、T1は可能な範囲内で最小の値に� ��る。

 一方、高速度撮影を終了する時は、シャ� ��ターチャンス等関係なく緊急は要求されな� ��ため、移行時間は長くてもよい。むしろ長� ��方が画質面でよりシームレスになる。すな� ��ち、移行時間より画質を優先して、T1より� �く設定する。

 従って、T2はT1よりも長くすることにより 、高速撮影開始時におけるレスポンスを速く すると同時に、高速撮影終了時の明るさの時 間的変化が少なくよりシームレスに撮影でき るという効果を奏することになる。

 <動作>
 以下、本発明に係る撮影装置の動作につい� ��図14~16を用いて説明する。

 図14は、通常撮影及び高速撮影の処理を� �すフローチャートである。

 まず、ユーザは、初期設定により通常速� ��のフレームレートをR1とし、高速度撮影モ� �ドのフレームレートをR2に設定する(ステッ� �S100)。この操作は、図1のモード設定ダイヤ� �5を用いて行う。

 このユーザの操作を検知した全体制御部1 00は、設定されたフレームレートR1とR2とを、 絞り目標値算出部55の第1フレームレートと第 2フレームレートにそれぞれ記憶する。

 また、ユーザが、高速撮影モードスイッ� ��4を、「ON」又は「OFF」とする。ユーザの操� ��を検知した全体制御部100は、高速撮影モー� ��スイッチ4が「ON」の場合は、モード設定部4 2を高速撮影モード43の状態に、高速撮影モー ドスイッチ4が「OFF」の場合は、通常撮影モ� �ド44の状態にする。具体的には、例えば、撮 影状態フラグ(図示していない。)が「1」のと きは、高速撮影モード43状態、「0」ときは、 通常モード状態44とする。

 ユーザが通常撮影を始めるため撮影ボタ� ��2を押下する(ステップS110:押下)。この押下� �検知した全体制御部100は、フォーカス駆動� �32等に指示を出し、フレームレートR1で通常� ��影を開始する(ステップS120)。

 通常撮影中に、ユーザは高速撮影スイッ� ��16を押下して高速撮影の開始を指示する(ス� ��ップS130:押下)。この押下を検知した全体制� ��部100は、高速撮影を始める旨、高速撮影制� ��部48に通知する。

 高速撮影の開始指示を受けた高速撮影制� ��部48は、高速撮影モードスイッチ4が「ON」� �「OFF」のどちらになっているかと、高速撮� �スイッチ16が半押し状態なのか全押し状態な のかの2点を全体制御部100に問い合わせる。

 問い合わせを受けた全体制御部100は、モ� ��ド設定部42が高速撮影モード43となっていれ ば「ON」を返し、通常撮影モード44となって� �れば「OFF」を返す。また、高速撮影スイッ� �16が半押しSW状態16cであれば「半押し」を、� ��押しSW状態16dであれば「全押し」を返す。

 全体制御部100から、高速撮影モードスイ� ��チ4と高速撮影スイッチ16との状態を受け取� ��た高速撮影制御部48は、高速撮影モードス� �ッチ4が「ON」の場合(ステップS240:ON)であっ� �、高速撮影スイッチ16が「半押し」の場合(� �テップS150:YES)は、高速撮影準備有りモード� �高速撮影を行う(ステップS160)。

 一方、高速撮影モードスイッチ4が「OFF」 の場合(ステップS240:OFF)や、高速撮影スイッ� �16が「全押し」の場合(ステップS150:NO)は、高 速撮影準備無しモードで高速撮影を行う(ス� �ップS170)。

 その後、ユーザが、撮影ボタン2が押され ていない状態に戻して、撮影の終了を指示(� �テップS180)するまで、ステップS120~ステップS 170までの撮影を行う。

 次に、図15を用いて、高速撮影準備有り� �ードでの高速撮影の処理を説明する。

 ここで説明する処理は、図5、図8、図9を� ��いて説明した撮影方法である。

 図15は、高速撮影準備有りモードでの高� �撮影の処理を表すフローチャートである。

 まず、高速撮影制御部48は、絞り駆動部35 に指示を出して絞りを開け始めるとともに、 シャッター時間制御部49に指示を出し、露出� ��止時間制御部53により、露光休止時間中に� �電変換された電荷を排出することにより露� �時間を短くしてゆく(ステップS200)。

 この処理の具体的な処理については、< 絞り・露光時間の移行処理>の項で説明す� �。

 ここで、絞り度が限界に達してしまった� ��合は(ステップS210:YES)、絞りを明るい限界値 に設定し、増幅器51のゲインを上げるか、感� ��制御部73により撮像素子40の感度の変更によ り信号出力を増加させ、ノイズフィルタを入 れてノイズを低減する(ステップS220)。

 その後、ユーザが、高速撮影スイッチ16� �「全押し」して、高速撮影を実際に開始す� �操作を行う(ステップS230:YES)と、その操作を� ��出した全体制御部100は、高速撮影制御部48� �その旨を通知し、通知を受けた高速撮影制� �部48はフレームレート制御部60にフレームレ� ��トをR2にするよう指示する(ステップS230:YES)� ��

 指示を受けたフレームレート制御部60は� �撮像装置40にフレームレートをR2にするよう� ��示し、高速撮影が開始される(ステップS240)� ��

 その後、ユーザが、高速撮影スイッチ16� �「押していない状態」に戻して、高速撮影� �終了する操作を行う(ステップS250:YES)と、そ� ��操作を検出した全体制御部100は、フレーム� ��ート制御部60にフレームレートをR1に戻すよ う指示し、高速撮影制御部48に高速撮影を終� ��する旨を通知する(ステップS230:YES)。

 指示を受けたフレームレート制御部60は� �撮像装置40にフレームレートをR1にするよう� ��示し、通常撮影が再開される(ステップS260)� ��

 高速撮影を終了する旨の指示を受けた高� ��撮影制御部48は、絞りを閉めていくと同時� �露光時間を長くしてゆき、通常撮影時のも� �に戻し、必要に応じて増幅率を下げるなど� �処理を行う(ステップS270)。

 次に、図16を用いて、高速撮影準備無し� �ードでの高速撮影の処理を説明する。

 ここで説明する処理は、図8、図10を用い� ��説明した撮影方法である。ステップS320~ス� �ップS360が図8の撮影方法において高速度撮影 準備モードの期間が殆どない場合、ステップ S400~ステップS450が図10の撮影方法である。

 図16は、高速撮影準備無しモードでの高� �撮影の処理を表すフローチャートである。

 フレームレートR1で通常撮影を行ってい� �現在の露光時間を第1露光時間T1とし、高速� �影時のフレームレートR2の最大露光時間を第 2露光時間T2とする。

 まず、高速撮影制御部48は、露光時間を� �第1露光時間T1と第2露光時間T2のうちの小さ� �方の露光時間とするようシャッター時間制� �部49に指示を出し、シャッター時間制御部49� ��露光時間を調整する(ステップS300)。言い換� ��れば、T1≦T2にするようにT1を短くする。

 高速撮影制御部48は、第1露光時間T1を調� �したとしたら絞りが限界値に達していると� �断した場合(ステップS310:YES)は、絞りを明る� ��限界値に設定し、増幅器のゲインを上げる� ��、撮像素子40の感度の変更により信号出力� �増加させ、ノイズフィルタを入れてノイズ� �低減する(ステップS320)。

 その後、高速撮影制御部48は、フレーム� �ート制御部60にフレームレートをR2にするよ� ��指示し、指示を受けたフレームレート制御� ��60は、撮像装置40にフレームレートをR2にす� ��よう指示し、高速撮影が開始される(ステッ プS330)。

 その後、ユーザが、高速撮影スイッチ16� �「押していない状態」に戻して、高速撮影� �終了する操作を行う(ステップS340:YES)と、そ� ��操作を検出した全体制御部100は、高速撮影� ��御部48にその旨を通知し、通知を受けた高� �撮影制御部48はフレームレート制御部60にフ� ��ームレートをR1に戻すよう指示する。

 指示を受けたフレームレート制御部60は� �撮像装置40にフレームレートをR1にするよう� ��示し、通常撮影が再開される(ステップS350)� ��

 また、フレームレート制御部60への指示� �同時に、高速撮影制御部48は、増幅率を下げ るとともに絞りを閉じる方向に制御しながら 露光時間を長くし、通常撮影を再開する(ス� �ップS360)。

 一方、高速撮影制御部48が、第1露光時間T 1を調節したとしたら絞りが限界値に達して� �ないと判断した場合(ステップS310:NO)は、絞� �を所定の露光量を得るように制御する(ステ� ��プS400)。

 その後、高速撮影制御部48は、フレーム� �ート制御部60にフレームレートをR2にするよ� ��指示し、指示を受けたフレームレート制御� ��60は、撮像装置40にフレームレートをR2にす� ��よう指示し、高速撮影が開始される(ステッ プS410)。

 露光量の調節は、絞り、露光時間、ゲイ� ��を組み合わせて調節する(ステップS420)。

 その後、ユーザが、高速撮影スイッチ16� �「押していない状態」に戻して、高速撮影� �終了する操作を行う(ステップS430:YES)と、そ� ��操作を検出した全体制御部100は、高速撮影� ��御部48にその旨を通知し、通知を受けた高� �撮影制御部48はフレームレート制御部60にフ� ��ームレートをR1に戻すよう指示する。

 指示を受けたフレームレート制御部60は� �撮像装置40にフレームレートをR1にするよう� ��示し、通常撮影が再開される(ステップS440)� ��

 また、フレームレート制御部60への指示� �同時に、高速撮影制御部48は、増幅率を下げ るとともに絞りを閉じる方向に制御しながら 露光時間を長くし、通常撮影を再開する(ス� �ップS450)。

 <絞り・露光時間の移行処理>
 ここで、絞りと露光時間の移行処理につい� ��説明する。この処理は、準備期間を設けた� ��速撮影の処理において、準備期間に成され� ��ものである。図15のステップ200での処理に� �当する。

 絞り・露光時間の移行処理について図17� �図18とを用いて説明する。

 図17は、絞り・露光時間のタイムチャー� �を示す図である。

 本図は、図5のt1からt2を説明するための� �であり、説明の便宜上、図5のt2~t4は省いて� �る。また、本図と図5のt1等は、同じ時間を� �すものではない。

 第1段目は、動作の契機を示すトリガのタ イムチャートであり、第2段目は、フレーム� �ートのタイムチャートである。第3段目は、� ��り度のタイムチャートであり、縦軸は絞り� ��を示し、L1、L2、L3の順で絞り値が大きくな� ��、絞り値が大きいほど絞りが開くものとす� ��。

 第4段目は、絞り値近似値のタイムチャー トであり、この値は露光時間を求めるために 使用する。

 第5段目は、蓄積電荷のタイムチャートで あり、縦軸は蓄積されている電荷量を、S1等� ��両端矢印は露光時間を示す。

 図17を簡単に説明すると、まず、第1トリ� ��を受けると、絞り目標値85を算出し、その� �り目標値85に絞りを近づけていくと同時に、 露光時間を短くしていき、高速撮影のフレー ムレートR2の最大露光時間Smax89とする。この� ��きの各フレームの露光時間は、フレーム毎� ��絞り値近似値とフレームにおいて蓄積すべ� ��電荷とから求める。

 第2トリガを受けたときに、フレームレー トをR1からR2に切り替えて、高速撮影を開始� �る。

 この絞り目標値は、通常撮影時のフレー� ��レートと高速撮影時のフレームレートが決� ��れば、フレームあたりの光量の増減が一義� ��に決まることから、求めることができる。� ��まり、フレームレートが決まれば明るさの� ��減が決まるため、絞りの開閉の目標値がわ� ��ることになる。この絞り目標値の求め方は� ��<絞り目標値の求め方>の項で説明する� �

 図18は、絞り・露光時間の移行処理のフ� �ーチャートである。

 高速撮影制御部48は、シャッター時間制� �部49から現在の露光時間E1を求め(ステップS60 0)、高速撮影時のフレームレートR2から露光� �間E2、すなわち、露光時間目標値87を求める( ステップS610)。ここでは、露光時間目標値87� �、フレームレートR2での最大露光時間Smax89と する。露光時間目標値87は、選択可能な値の� ��から通常最も大きな値を採用するためであ� ��、SmaxはフレームレートR2のみによって一義� ��に決まる。

 現在の露光時間E1が露光時間目標値87であ る露光時間E2以下の場合(ステップS620:YES)は、 絞り調整の必要が無いため何も行わない。こ の場合は、図7の「露光時間を変更しない場� �」に該当する。

 露光時間E1の方が露光時間E2より大きい場 合(ステップS620:NO)は、絞り目標値算出部55に� ��り目標値85の算出を依頼する(ステップS630)� �依頼を受けた絞り目標値算出部55は、絞り目 標値85を算出し、高速撮影制御部48に渡す。

 高速撮影制御部48は、受け取った絞り目� �値85となるように、絞り駆動部35に指示して� ��絞り36を開けていく(ステップS640)。

 絞りは機械的に制御されるため、10~30msの 時間が必要となる。図17に示すようにt2からt6 にかけて、ゆるやかに開いていく。

 この絞りの変化を予測式で予測する(ステ ップS650)。撮影装置1の絞り36の制御特性は予� ��わかっているため、この変化は簡単な予測� ��で予測できる。

 次に、各フレーム期間中の平均値である� ��り値L1と絞り値L2とを求める(ステップS660、� ��17の絞り値近似値のタイムチャート参照)。

 求めたL1、L2の絞りにおいて、最適な露光 を得る露光時間S1、S2を、各フレームで求め� �(ステップS670)。

 そして、高速撮影制御部48は、各フレー� �を撮影する際に、シャッター時間制御部49に 最適露光時間S1、Sをそれぞれ指示する(ステ� �プS670)。

 絞りが絞り目標値85に達した時点(ステッ� ��S690:YES)で、絞りと露光時間とを保持する。

 高速撮影制御部48は、全体制御部100から� �リガ2を受けた旨の通知を受けたら、フレー� ��レート制御部60にフレームレートをR2にする ように指示し、高速度撮影を開始する。

 このように本発明では、高速度撮影時の� ��レームレートに応じて、高速撮影時の絞り� ��標値85と露光時間目標値87とを、絞り目標値 算出部55が求めることができるので、フィー� ��フォワード方式で時々刻々に絞り36と露出� �間を制御していく。そのため、従来の自動� �出方式を用いて、露出制御部76で絞り補正を 行う場合に比べて大幅な時間の削減ができる 。従って、より短い時間で通常速度撮影から 高速撮影に移ることが可能となる。よって、 使用者にレスポンスの速い、使い勝手のよい 撮影装置を提供できる。

 尚、自動露出は、撮像素子40から明るさ� �検出して、露出制御部76により、フィードバ ック制御を行い、絞りとシャッター速度を調 整するものである。この方式は、映像の明る さ情報が1フレームもしくは1フィールド毎に� ��か得られない。この1秒に60コマ位しかとれ� ��いサンプルデータに基づいてフィードバッ� ��制御を行うことになる。フィードバック制� ��するためには、少なくとも複数の明るさの� ��ンプルつまり複数のフレームの映像情報が� ��要であり、絞りの変更に時間を要すること� ��なる。このようにフィードバック方式の自� ��露出方式を用いると応答が遅く数十フレー� ��を必要とし、通常速度から高速度撮影に移� ��する時に絞りの追従速度が遅いため、高速� ��撮影ボタンを押しても、フレームレートの� ��更に時間が必要なため、シャッターチャン� ��を逃し良いシーンを高速度撮影できないこ� ��となる。

  <絞り目標値の求め方>
 次に、絞り目標値を求める処理について、� ��19と図20とを用いて説明する。

 図20は、絞り目標値を求める処理のフロ� �チャートであり、この処理は、絞り目標値� �出部55が行う処理である。

 図19(a)は、光量の変化を示すタイムチャ� �トである。

 第1段目は、トリガのタイムチャートを示 す。

 第2段目は、光量のタイムチャートを示し 、縦軸は光の量を表す。この光の量は、明度 検出部56により検出され、最新の所定期間分� ��絞り目標値算出部55内部の作業領域に記憶� �れているものとする。

 また、第3段目は、フレームレートのタイ ムチャートを示し、矩形が1フレームを表す� �矩形内の「R1」、「R2」は、撮影されたフレ� ��ムレートを表す。

 図19(b)は、フレームレートと絞りの増分� �の対応表101である。この対応表101は、R2つま り第2フレームレートに応じて絞りの増分△f2 が決まることから、その値をフレームレート と対応付けているものである。すなわち、R2� ��決まると最大露光時間Smaxが決まることから 、△f2も一義的に決まるからである。

 絞り目標値85は、通常撮影のフレームレ� �トR1である第1フレームレートと、露光時間� �ある第1露光時間と、絞りである第1絞りと、 高速撮影時のフレームレートR2である第2フレ ームレートから求めることができる。

 この演算において、最も重要なパラメー� ��は第2フレームレート81である。というのは� ��第1フレームレートと第1露光時間と第1絞り� ��既にわかっている。第2フレームレート81に� ��り光量の増減は1~1/n倍と大幅に変わるため� �一番重要な要素といえる。

 更に、絞り目標値85を求める場合に、第1� ��りをどのような値とするかが重要となる。� ��なわち、被写体の明るさは常に一定ではな� ��ことから、フレームレートを切り替える直� ��の絞りを採用すると、妥当ではない場合、� ��えば、切り替えの直前に被写体が明るかっ� ��場合は、絞り目標値85が低すぎてしまう場� �があるからである。

 そこで、本撮影装置1では、フレームレー トを切り替える時より前の所定時間において 、被写体が最も暗かったときの絞りを第1絞� �とするものとする。このようにすることで� �高速撮影時の映像が露出不足にならないと� �う効果がある。

 以下、図20を用いて、絞り目標値85である 高速度撮影時の第2絞りf2を求める方法を説明 する。

 まず、図19(a)に示すように、光量を測定� �記憶しておく。ここでは、t2で、高速撮影の 準備を開始する指示であるトリガ1を受ける� �のt1~t2間の光量の最小値Iminを測定し記憶す� �。

 t2でトリガ1を受けたときに、記憶してい� ��光量の最小値を求める(ステップS500)。図19(a )の場合は、t1のところの光量Iが最小値とな� �。

 このIminから、第1絞りf1を求める(ステッ� �S510)。具体的には、このIminで表される光量� �第1露光時間とから第1絞りを求める。

 次に、対応表101から第2フレームレートで あるR2の増分△f2を求め、求めた増分△f2と第 1絞りf1とから第2絞りf2を求める(ステップS520) 。

 図19のように、トリガ1の前の一定期間の� ��量の最小値を基に、第1絞りf1を求めること� ��より、最も暗い条件下の第2絞りが目標値に 決定される。

 このように絞り目標値85が決定されるた� �、t3~t4の間に光量変化があっても、統計的に Imin以下になる可能性が低く、露光不足とな� �可能性は低くなる。

 また、t3~t4の期間は、通常は、第2露光時� ��が最大値に設定されるため、被写体が暗く� ��った場合には、露光時間をこれ以上大きく� ��ることはできず、露光時間では、暗さを補� ��補正はできない。また、絞りの調整は機械� ��な動作のため、高速で追従できないので、� ��りで暗さを補うこともできない。従って、� ��も暗い条件下での絞りを絞り目標値とする� ��とは、露光不足となる可能性を低くするこ� ��になる。

 本発明では、トリガ1の前の一定期間の中 でもっとも少ない光量Iminから求められる絞� �f1を算出し、そのf1を用いるため、最も明る� ��f値をf2とすることになる。従って、t3~t4の� �に露出不足にならないという効果がある。

 尚、本実施形態では光量を測定して記憶� ��ることとしているが、絞りを記憶しておい� ��もよく、この場合は、記憶している最大の� ��り、すなわち、もっとも明るい絞りを第1絞 りとする。

  <変形例>
 上述した絞り・露光時間の移行処理の変形� ��を説明する
 この変形例は、図13を用いて説明した高速� �影方法の移行処理である。

 図21は、通常撮影から高速撮影へ切り替� �る方式を示す図であり、図17の通常撮影から 高速撮影への遷移時間を短くした場合を示す 。本変形例では、ゲインを掛けることで、遷 移時間を短縮している。

 本図は、図17と同様に、トリガ、フレー� �レート、絞り値、蓄積電荷のタイムチャー� �と、他に、露光時間、信号レベル、増幅率� �タイムチャートを示す。

 通常速度のフレームレートR1での1フレー� ��あたりの時間は約16.7msである。一方、本発� ��のフィードフォワード方式では、絞りの応� ��速度は10~15msである。従って、第3段目の絞� �値のタイムチャートで示すように、t4~t6の間 、すなわち、1フレーム分の時間の間に絞り� �変更することができる。

 この場合、t4~t6の1フレームの露光時間を� ��フレームレートR1の露光時間S1と、フレーム レートR2の露光時間S2との中間の値Shとする。

 このように露光時間を設定することで、t 4~t6の遷移時間T1の期間でフレームレートを切 り替えることができるので、レスポンスが早 くなるという効果がある。

 この場合、第6段目の信号レベルのタイム チャートで示すように、t4~t6の間の映像信号� ��レベルが落ちるが、第7段目の増幅率のタイ ムチャートに示すように、明度検出部56によ� ��明度を検出し、AGC57によりゲインを調節す� �ことにより、明るさの増減を緩和すること� �できる。このように、切り替え時の再生映� �をよりシームレスにすることができる。

 尚、準備期間を設けない高速処理におい� ��も、高速処理を開始した直後に、露光時間� ��フレームレートに合わせて短くなるが、図1 0のt4~t6で絞りを上げていく場合も、同様にフ レームレートを切り替えることが可能である 。

 次に、図22は、高速撮影から通常撮影へ� �り替える方式を示す図である。

 本図は、図17と同様に、トリガ、フレー� �レート、絞り値、蓄積電荷のタイムチャー� �と、他に、露光時間のタイムチャートを示� �。

 t4で、高速撮影の終了指示であるトリガ2� ��受けると、t4でフレームレートをR2からR1に� ��レームレートを落とす。

 そして、t4~t6の遷移時間に、絞りを小さ� �し露光時間を長くする。t4~t6の遷移時間T2は2 フレーム分であるとする。

 通常撮影のフレームレートR1から高速撮� �のフレームレートR2へ切り替える場合は、シ ャッターチャンスを逃さないようにレスポン スをよくし、図21の遷移時間T1のように、短� �時間で切り替える。

 しかし、高速撮影のフレームレートR2か� �通常撮影のフレームレートR1への切り替え時 は、フレームレートを変えてから絞りや露光 時間を補正することとしても良いため、遷移 時間は数十フレーム等に長くなっても全く問 題がない。むしろ長い方がよりシームレスに なるという効果がある。

 本発明ではT1<T2にすることにより、シー� �レスさとレスポンスが両立するという効果� �ある。
<実施形態2>
 本実施形態1では、通常撮影から高速撮影へ の移行方法について説明したが、本実施形態 では、高速撮影で撮影した映像データの蓄積 方法について説明する。

 <高速撮影映像の記録方法>
 高速撮影時の撮影映像を全て記録しようと� ��た場合には、現実的には、メモリや処理速� ��、記録速度に限界がある。

 従って、撮影した映像を、一旦バッファ� ��モリ90に蓄え、その中から必要な映像のみ� �り出し、ICメモリ等の記録媒体91に記録する� ��法がより現実的である(図3参照)。

 このような、必要な映像のみを取り出し� ��記録する方法を、図23と図24とを用いて説明 する。

 図23は、通常撮影から高速撮影に切り替� �て、高速撮影の映像の一部を記録する方法� �示す図である。

 本図は、図13と同様に、通常撮影から高� �撮影を行い、再び通常撮影に戻る場合の、� �リガ、絞り、露光時間、増幅率、撮影モー� �のタイムチャートと、フレーム遷移表を示� �。ここでは、図13に示す撮影方法の高速撮影 時に一部を記録する方法を説明するが、もち ろん、図5等の他の撮影方法においても同様� �ある。

 t1において、高速度撮影開始のトリガで� �る第1トリガ88を受けると、t1~t3の間のT1の期� ��中に、絞りを開けるとともに露光時間を短� ��していく(第2段目の絞りのタイムチャート� �び第3段目の露光時間のタイムチャート参照) 。

 露光時間が高速撮影用の長さになったt3� �時点で高速度撮影に入る。

 高速撮影中に、記録を指示するトリガで� ��る第3トリガを受けると、その第3トリガの� �後の所定数nフレームを記録する。第3トリガ は、第2トリガを受けるまでに複数回受けて� �よく、その場合も、前後nフレームを記録す� ��ものとする。本実施形態では、1回のみとし て説明する。

 t6において、高速撮影終了のトリガであ� �第2トリガ79を受けると、高速撮影から通常� �影に戻る。そして、t6~t8の間のT2の期間中に� ��絞りを閉めていくことに連動して露光時間� ��増やしてゆく(第2段目の絞りのタイムチャ� �ト及び第3段目の露光時間のタイムチャート� ��照)。

 t8において、絞りと露光時間は通常撮影� �と同じ値になる。

 このように記録することにより、例えば� ��ルフのショットの瞬間に映像記録スイッチ� ��押すとショットの前後の映像が高速度映像� ��記録されるため、撮り損ね、つまり失敗を� ��ぐことができる。このため、高速撮影にな� ��ていないユーザも簡単に高速度映像を撮影� ��きるという効果がある。

 次に、図24を用いて、映像の記録方法を� �明する。

 本図は、通常撮影から、第1トリガで高速 撮影に移り、第3トリガで高速撮影映像を記� �し、第2トリガで通常撮影に戻る場合の、高� ��撮影映像の記録方法を示している。他の撮� ��方法においても同様である。

 第1段目は、撮影ボタン2の状態のタイム� �ャートであり、ボタンが全押しされている� �態(図2参照)をONとして記載している。

 第2段目は、サブトリガの入力を示すタイ ムチャートであり、第3段目は、メイントリ� �の入力を示すタイムチャートである。ここ� �のサブトリガは、例えば、高速撮影スイッ� �16が半押し状態となった場合とし、メイント リガは、高速撮影スイッチ16が全押し状態と� ��った場合をいうものとする(図2参照)。

 第4段目は、撮影データのタイムチャート であり、この矩形1つが1フレームを示す。以� ��、フレームレートR1で撮影されたフレーム� �「通常フレーム」、フレームレートR2で撮影 されたフレームを「高速フレーム」というも のとする。

 また、第5段目と第6段目は、それぞれ、t5 とt6時点でのバッファメモリ90に記録されて� �る高速撮影映像データを示す。

 第7段目~第10段目までは、それぞれ、t5、t 7、t8、t9時点での記記録媒体91に記録されて� �る撮影映像データを示す。

 第11段目は、記録されている撮影映像デ� �タのフレームレート識別子のタイムチャー� �を示す。ここでは、「R1」はフレームレート R1を、「R2」はフレームレートR2を示し、フレ ーム毎に付される。このフレームレート識別 子は、再生する際に、高速撮影映像データを 通常撮影映像データに変換する場合などに使 用される。

 まず、撮影ボタン2を全押しして、通常撮 影を行っている状態で、t2において高速度撮� ��を開始を示す第1トリガ88が入力されると、� ��レームレートがR1からR2になり、高速撮影が t2から始まる(撮影データのタイムチャート参 照)。

 t2の時点から、バッファメモリ90に高速撮 影映像データの記録が開始される。但し、バ ッファメモリ90には、Tmaxの期間分の映像デー タのみが記憶される。すなわち、新しい高速 フレームが記録されると、古い高速フレーム は通常フレームとして記録媒体91に移され、� ��ッファメモリ90からは削除されることにな� �。

 本実施形態では、フレームレートR1は60fps であり、フレームレートR2は180fpsであるので� ��3つの高速フレームが1つの通常フレームに� �当し、3つの高速フレームから1つの通常フレ ームを生成して記録媒体91に記録する。

 具体的には、t5の時には、t3~t5の映像デー タであるTmaxの期間分だけのデータがバッフ� �メモリ90に蓄えられており、t2~t3の高速フレ� ��ムはフレーム合成部58により合成され(ステ� ��プ117a参照)、通常フレーム115として記録媒� �91に記録される。

 つまり、3つの高速フレーム116a、116b、116c が加算処理等により合成されて1つのフレー� �115aになり、記録媒体91やメモリに記録され� �。または、中心の高速フレーム116bのみがフ� ��ーム115aとして記録することとしてもよい。

 t5において、映像の記録を示す第3トリガ7 8が入力されると、t5の前後のt4~t5とt5~t6のフ� �ームのみが高速フレームで記録される。

 t6の時点では、t3~t4の6つの高速フレーム� �2つの通常フレームに合成されて記録媒体91� �記録されており、t4~t6の高速フレームは、そ のままバッファメモリ90に記録されている。

 t6の時点からは、高速フレームは通常フ� �ームに合成されて記録され、t7において、高 速撮影の終了を示す第2トリガ79が入力される と、フレームレートR2がR1に戻され、通常撮� �を再開する(撮影データのタイムチャート参� ��)。以後、通常撮影映像データは通常フレー ムのまま、記録媒体91に記録される。

 t9において、バッファメモリ90に記録され ている映像記録第3トリガ78の前後nフレーム� �の高速フレームを記録媒体91に記録する。

 記録される時には、各フレーム毎にフレ� ��ムレートを示すフレームレート識別子を付� ��する(フレームレート識別子のタイムチャー ト参照)。

 通常フレームにはR1を示すフレームレー� �識別子59bが、高速フレームにはR2を示すフレ ームレート識別子59aが記録される。本図では 、R1を示すフレームレート識別子59bを「R1」� �R2を示すフレームレート識別子59aを「R2」と� ��載している。

 このように、高速撮影中の第3トリガ78の� ��後のnフレーム分の高速度撮影映像だけがバ ッファメモリ90に蓄えられ記録されるため、� ��ッファメモリの容量を最小にできるという� ��果がある。また、使用者が映像記録スイッ� ��を押した時点の±nフレームの映像が高速撮� ��映像として記録されるため、シャッターチ� ��ンスを逃さない映像を記録できるという効� ��がある。

 図24では、映像の記録を示す第3トリガ前� ��のTmax期間の高速フレームを記録する例を説 明したが、図25を用いて、第3トリガ前のTmax� �間の高速フレームを記録する例を、図26を用 いて、第3トリガ後のTmax期間の高速フレーム� ��記録する例を説明する。

 図25は、図24で説明した記録方法とほぼ同 じである。異なる点は、第3トリガ78の前の期 間のTmaxの期間の高速フレームを記録する点� �みが異なる。

 この場合はt5で、第3トリガ78を受けるが� �この段階でt3~t5の間の高速フレーム116は、バ ッファメモリ90に記録されている。

 t2~t3の高速フレームと、t5以後の高速フレ ームは3つを合成し、通常フレームを記録媒� �91に記録する。

 図25の場合は、アクションが終了した時� �で映像記録スイッチを使用者が押すことに� �り、アクションの高速度撮影画像が記録さ� �る。

 図26は図25とは逆である。つまり、第3ト� �ガ78がt5で入力されると、t5の後のt5~t7の間の 高速フレーム116a~116lが高速フレームとして記 録され、t2~t5とt7以後のフレームは通常フレ� �ムとして記録される。

 図26の場合は、アクションが開始される� �の時点で映像記録スイッチを使用者が押す� �とにより、アクションの高速度撮影画像が� �録される。

 以上、図24、25、26を用いて説明した録画� ��法は、間引き方式のみならず、直接走査方� ��や画素混合方式等の高速撮影にも有効であ� ��。

 次に、図24、25、26の録画処理を、図27と� �28とを用いて説明する。

 図27は、撮影装置1の録画処理のフローチ� ��ートである。

 まず、通常撮影時のフレームレートR1と� �速撮影時のフレームレートR2、及び、高速撮 影指示の第3トリガの前と前後と後の3カ所の� ��ち、どの箇所を記録するかを示す録画モー� ��を設定する(ステップS700)。この設定は、図1 のモードダイヤル5を用いて設定する。

 設定を検出した全体制御部100は、最大高� ��録画可能時間 Tmaxを、フレームレートR2と� �ッファメモリ90に記録できるフレームの枚数 から求め液晶モニタ17に表示する(ステップS71 0)。

 ユーザが通常撮影を始めるため撮影ボタ� ��2を押下し、押下を検知した全体制御部100は 、フォーカス駆動部32等に指示を出し、フレ� ��ムレートR1で通常撮影を開始する(ステップS 720)。

 通常撮影中に、ユーザは高速撮影スイッ� ��16を半押して、高速撮影の開始を指示する(� ��テップS730:YES)。この押下を検知した全体制� ��部100は、高速撮影を始める旨、高速撮影制� ��部48に通知する。

 高速撮影の開始指示を受けた高速撮影制� ��部48は、絞り目標値算出部55に絞り目標値の 算出を依頼し、依頼を受けた絞り目標値算出 部55は、絞り目標値を算出して高速撮影制御� ��48に返す。高速撮影制御部48は、絞りを目標 値に向けて絞り駆動部35に指示を出し、絞り� ��応じた露光時間にすべくシャッター時間制� ��部49に指示を出す(ステップS740)。

 絞りが目標値に達したら、フレームレー� ��をR1からR2に切り替え(ステップS750)、録画処 理を行う(ステップS760)。この録画処理は、図 28を用いて後述する。

 その後、ユーザは高速撮影スイッチ16を� �してない状態に戻し、高速撮影の終了を指� �する(ステップS770:YES)。この押下を検知した� ��体制御部100は、高速撮影を終了する旨、高� ��撮影制御部48に通知する。

 高速撮影の終了指示を受けた高速撮影制� ��部48は、絞り目標値算出部55に絞り目標値の 算出を依頼し、依頼を受けた絞り目標値算出 部55は、絞り目標値を算出して高速撮影制御� ��48に返す。高速撮影制御部48は、フレームレ ートをR2からR1に戻し(ステップS780)、絞りと� �光時間を通常撮影時に戻していく(ステップS 790)。

 その後、全体制御部100は、映像信号処理� ��54に指示を出し、バッファメモリ90に記録し ている高速撮影映像データを画像処理して、 記録媒体91に記録する(ステップS800)。

 ユーザが、撮影ボタン2を押してない状態 に戻し、通常撮影の終了を指示する(ステッ� �S810:YES)。この押下を検知した全体制御部100� �、通常撮影を終了する処理を行う。

 次に、図28を用いて、高速撮影録画処理� �ついて説明する。

 図28は、高速撮影録画処理のフローチャ� �トである。

 映像信号処理部54は、フロントエンド部50 を介して撮像素子40から、フレームレートR2� �送られてくる映像データを処理し、バッフ� �メモリ90に記録する(ステップS900)。

 映像信号処理部54は、最大高速録画可能� �間Tmaxの期間の高速撮影映像データをバッフ� ��メモリ90に蓄え、Tmaxより古いデータはフレ� ��ムレートR2からフレームレートR1の映像デー タに変換して記録媒体91に記録する(ステップ S910)。この変換は、フレーム合成部58で行う� �

 ユーザが、高速撮影スイッチ16を全押し� �て、録画を指示する(ステップS920)と、この� �下を検知した全体制御部100は、録画をする� �う映像信号処理部54に依頼する。この際、ユ ーザが事前に設定した記録モード、すなわち 、録画指示時の前の映像データを記録するか 、前後の時間の映像を記録するのか、後の映 像を記録するのかを通知する。

 依頼を受けた映像信号処理部54は、通知� �れた録画モードに従い、Tmax分の高速撮影映� ��データを取得し、バッファメモリ90に記録� �る(ステップS970)。取得したTmax以外の映像デ� ��タは、フレームレートR1に変換して記録媒� �91に記録する。

 録画モードが、録画指示時の前の映像デ� ��タを記録する場合は(ステップS930:(1))、録画 指示時より前のTmaxの映像データを取得し(ス� ��ップS940)、録画指示時の前後の映像データ� �記録する場合は(ステップS930:(2))、録画指示� ��より前後でTmaxの映像データを取得し(ステ� �プS950)、録画指示時の後の映像データを記録 する場合は(ステップS930:(3))、録画指示時よ� �後のTmaxの映像データを取得する(ステップS96 0)。

 <切り替え時のフレームの記録方法>
 通常撮影から高速撮影に切り替える際には� ��1フレームの画像が保証できない場合が生じ 得、その場合の対処法について説明する。

 その場合とは、間引き方式(図4参照)によ� ��、フレームレートを変える場合である。言� ��換えれば、走査方式を変える時、すなわち� ��全走査から間引き走査に変わる時と間引き� ��査から全走査に変わる時とに、1フレームの 間、画像信号が乱れる場合がある。

 この場合の、保証できない1フレームの画 像を生成する方法について、図29を用いて説� ��する。

 図29は、フレームレート切り替え時のフ� �ームの生成方法を示す図である。

 本図は、図5と同様に、通常撮影から高速 撮影を行い、再び通常撮影に戻る場合の、絞 り、露光時間、撮影モードのタイムチャート と、フレーム遷移表を示し、下部に、フレー ムの合成処理の流れを示す。

 t4~t5とt8~t9のそれぞれ1フレームが保証で� �ないフレームである。本図では、それぞれ� �ッファフレーム110とバッファフレーム111と� �載している。

 すなわち、通常撮影の通常フレームレー� ��の最終フレーム112aと、高速撮影の高速フレ ームレートの最初のフレーム112bとの間にバ� �ファフレーム110を入れることにより、この� �ッファ時間中に、撮像素子40の走査切り替え を行ったことにより出力される乱れた映像信 号の影響を受けないという効果がある。

 後ろのバッファフレーム111の場合は、フ� ��ーム112gとフレーム112hの間にバッファフレ� �ム111を入れる。

 しかし、このバッファを入れることによ� ��、t4~t5やt8~t9の間の1フレーム分の映像情報� �なくなりシームレスに撮影できないことと� �る。

 そこで、このブランクを解消するため、� ��発明ではステップ105aで高速フレームレート のフレーム112b、112c、112dを合成し、合成フレ ーム113を作成する。

 次に、ステップ105bで、合成した合成フレ ーム113と通常フレームレートのフレーム112a� �合成し、1枚の合成フレームを作成する。

 ステップ105cで、最終フレーム112aとフレ� �ム112bの間に、フレーム順序が現実的にもし� ��は仮想的に連続するようにFnを定義し、ス� �ップ105dでメモリに記録する。

 バッファフレーム111の場合も同様に、ス� ��ップ105f、105g、105hを経てステップ105iでメモ リに記録する。

 ただし、これらの処理を撮影期間中に行� ��と、CPUや映像信号処理部54の負荷が大きく� �り過ぎるため、ステップ105j、105kに示すよう に撮影終了後に処理、記録を行うことにより 、負荷が大きくなることを防止でき、構成が 簡単になるという効果がある。

 このようにバッファフレーム110、111を設� ��、バッファフレームが抜けた画像の前後の� ��レームから作成することにより、つながり� ��よくなるため、連続的に、またシームレス� ��撮影できるという効果がある。

 図30は図29の絞り補正方式を図8を用いて� �明したゲイン補正方式に変えた場合の実施� �であり、動作は同じであるため説明を省略� �る。

 <間引き方式時の再生方法>
 次に、記録した映像データを、再生する場� ��の方法について説明する。

 図31は、間引き方式で撮影した映像デー� �を再生する場合の方法を示す図である。本� �において、矩形は1フレームを表し、1フレー ム中の横線は、走査したラインを示す。高速 度モードでのフレームレートは180fps、通常速 度モードでのフレームレートは60fpsとする。

 第1段目は、間引き方式で実際に撮影した 映像データであり、第2段目は、記録されて� �る映像データである。第3段目は、スロー再� ��画像データを示す。

 第4段目は、第2段目と同じ記録データを� �し、第5段目は、通常再生画像データを示す� ��

 ここでは、映像データのうち、間引き方� ��で撮影された間引き形式のフレームは、フ� ��ーム合成部58で、他のフレームを参照して� �けているラインを補ってフルライン形式の� �レームとし、記憶する(第2段目参照)。この� �法の一例は、図32を用いて後で説明する。こ のように記録しておくことで、汎用的な再生 装置でも再生することが可能となる。

 この記録データをそのまま、通常のフレ� ��ムレートで再生すると、高速度モードで撮� ��した部分はスロー映像として再生される(第 3段目参照)。

 また、この記録データから、通常の再生� ��行うため、高速度モードで撮影した部分は� ��3フレームをフレーム合成部58で合成して1フ レームとし(第4段目参照)、通常のフレームレ ートで再生すると、通常スピードの映像とし て再生される(第5段目参照)。

 このように、高速度撮影期間において、� ��1段目のような間引き方式で撮影した映像デ ータを、第4段目と第5段目のように、3フレー ムに1回のフレームを出力すると実質的に通� �速度で再生でき、通常撮影期間と動き的に� �全く同じ動画が出力される。尚、走査速度� �高速化する直接方式で撮影した映像は、本� �の第2段目の記録データと同じであるので、� ��様に通常速度で再生が可能である。

 次に、図32~36を用いて、間引き形式のフ� �ームからフルライン形式のフレームを生成� �る方法について説明する。

 図32は、間引き補完処理の流れを示す図� �ある。

 フレーム120a、120b、120cは、間引き走査を� ��れ(ステップ121a)、間引き画像122a、122b、122c� ��して出力される。

 これらの間引き画像は、図2の動き検出部 126において動き補正され、間引き補間部123(� �テップ121b)の位置合わせ部124によりブロック 単位で位置合わせが成される(ステップ121c)。

 これらの画素を、統合部128により統合し( ステップ121d)、統合画像125を得て(ステップ121 e)、この画像を、リサンプリング部129により� ��サンプリングを行う(ステップ121f)。ここで� ��リサンプリングとは、位置合わせを少数画� ��精度で行った場合に、位置合わせ結果を最� ��近い整数画素位置に丸めることをいう。

 その後、間引き画像の位置合わせが、オ� ��ルージョンや変形、動きベクトルが大きす� ��るなどの理由により正常に成されなかった� ��合は、復元部130により復元を行い、例えば1 080Pのフルライン画像131aを得る(ステップ121g)� ��

 ここで復元とは、いわゆる画面内補間を� ��い、図36に示すように、差分検出部127によ� �1~7の各方向のライン上の画素の差分をとり� �最も差分の少ない方向にある画素群を採用� �、間引かれたラインの画素を補間生成する� �例えば、最も差分の少ない方向にある選択� �れた走査ライン上に位置する2画素から、内� ��により間引かれた走査ラインの画素を生成� ��る。

 同様に、フルライン画像131aの前のフレー ム131bは、間引き画像122d、122a、122bの3枚の画� ��から、前の前のフレーム131cは間引き画像122 e、122d、122aから、間引き補間部121bにより補� �することにより得る。

 この間引き補完プロセスを、図33を用い� �説明する。

 第1段目は、撮像素子40が撮影する画像を� ��し、第2段目は、記録されている映像データ を示す。本図の、記録されている映像データ は、図31と異なり、間引きされたままのフレ� ��ムのデータである。

 第3段目は、フルライン画像データを示す 。

 まず、撮像素子40が撮影する画像(第1段目 参照)から間引きを行い、間引き画像121a、121b 、121c、121dを得る(第2段目参照)。

 ここでは、間引き画像を記録することと� ��ているが、第3段目に示すように、補間した フルライン画像131a、131d、131e、131fを得て、� �のフルライン画像を記録することとしても� �い。

 撮影装置のデータ処理能力によって、間� ��き画像を記録するか、フルライン画像を記� ��するかを変える必要が有るが、図32に示す� �うな、フルライン画像131の補間処理を行う� �は、大きなデータ処理能力と電力を必要と� �る。

 従って、カメラの中におけるフルライン� ��のリアルタイム補間処理および動画像符号� ��処理は半導体技術の大幅な進展を待つ必要� ��ある。

 この点に鑑み、本発明では現実的な方式� ��提案する。

 図33の第2段目の間引き画像121a等は、エイ リアシング・ノイズによるモアレなどが生じ るため、そのままでは画面表示に適さない。

 そこで図34に示すように、間引き画像121a� ��121b、121cを合成部138の中の動き補正部134に� �り動き補正をした上で、混合部133により垂� �方向にラインを混合して1本のラインを生成� ��る。

 垂直ラインが1/3になった合成画像135aが得 られる。

 同様にして混合画像135b、135cも得られる� �これらの画像はエイリアシング・ノイズに� �るモアレなどが消えているため、カメラの� �示画像に使える。ライン数は1/3になるが、� �ジカメの画面サイズは小さいため、さほど� �障は来たさない。

 また、フルラインの補間処理に比べると1 /3の処理でよいため、デジカメでも処理可能� ��ある。更に、消費電力も1/3になるという効� ��があり、バッテリー容量を小さくすること� ��できる。

 尚、デジカメの小さな画面ではライン数� ��1/3になっても一般の使用者には区別できな� ��。

 しかし、デジカメでは画面を拡大してピ� ��ト等の写り具合を見るためズーミングする� ��いうことが一般的に行われている。合成画� ��は1/3のライン数であるため、拡大すると粗� ��なる。

 そこで、図35のように、ズームした時は� �る一定までは粗くなっていくが、ある一定� �上になると、図35の第2段目に示す間引き画� �132a、132b、132cの部分領域である、第3段目に� ��す部分領域136a、136b、136cの領域を、間引き� ��間部123により補間された部分領域である部� ��補間領域137a、137b等が得られる。

 この部分補完領域137a、137b等の解像度は、� �の領域だけ見るとフルライン画像131と同じ� �ある。従ってズーム表示ではフルラインと� �じ解像度の画像がデジカメの画面に表示さ� �るため、拡大表示画面でピント等の確認が� �きる。この方式では部分領域の補間処理を� �うため処理量は1/n、例えば1/3になるため1/3� �処理量のデバイスと1/3の消費電力が得られ� �ため、現実的なデジカメが実現するという� �果がある。
<補足>
 以上、本発明の実施形態について説明した� ��、本発明は上記形態に限らず、以下のよう� ��してもよい。
(1)撮影装置は、図3の各構成要素の全部又は� �部を、1チップ又は複数チップの集積回路で� ��現してもよい。例えば、図3の点線で囲まれ た部分を1チップとするなどである。
(2)撮影装置は、図3の各構成要素の全部又は� �部を、コンピュータのプログラムで実現し� �もよいし、その他どのような形態で実施し� �もよい。

 コンピュータプログラムの場合、メモリ� ��ード、CD-ROMなどいかなる記録媒体に書き込� ��れたものをコンピュータに読み込ませて実� ��させる形にしてもよいし、ネットワークを� ��由してプログラムをダウンロードして実行� ��せる形にしてもよい。