イメージセンシングプロダクツ / Image Sensing Products

ソニーが永年培ってきた、世界に誇るイメージセンサーを搭載するISP製品はマシンビジョンの『機械の眼』として"正確"に「撮る」「録る」「捉える」を実現し、画像処理、検査、監視、ロボットなど、多様化する産業用、セキュリティ用ニーズにお応えするカメラです。多彩なラインアップは、さまざまなシーンへの展開をご提案します。

ソニー製グローバルシャッターCMOSセンサー搭載カメラ
開発者・商品企画担当者 インタビュー④

ソニー製グローバルシャッターCMOSセンサー搭載カメラの「高速読み出し」について、開発者および商品企画担当者に原理や技術、導入時におけるメリットをインタビューした。

インタビュー

キーワードは、「センサーからの高速読み出し」「バーストトリガー/フレーム処理の高速化」「カメラインターフェースとしての高速化」 XCG-CGシリーズ XCL-SGシリーズ

*XCL-SGシリーズ、**XCL-SGシリーズ/ XCG-GGシリーズ

高速読み出しの概要・原理・技術

1.センサーの構成

斎木:まず始めに、センサーの構成や原理について、設計担当より解説をお願いします。

平:CCDもCMOSイメージセンサーも基本的には同じ4つの機能から構成されています。①光を電荷に変換する機能、②電荷を蓄積する機能、③電荷をセンサーインターフェースに伝送する機能、そして④電荷を電圧に変換する機能です。
この中でCCDとCMOSイメージセンサーで特に大きく異なるのは③電荷伝送機能部であり、これがまさに両者の読出し速度の違いに影響し、CMOSイメージセンサーゆえに高速化が可能となっています。
次の図のようにCCDの場合は、受光素子(画素)に蓄積された電荷は、電荷のまま垂直電荷転送部、水平電荷伝送部と送られ、一画素ずつ順次電荷検出部(電圧変換部)に送られます。それに対し、CMOSイメージセンサーは、受光素子(画素)ごとに電荷伝送・電荷検出部があり、一気に電圧変換まで行われ、ON/OFFスイッチだけでラインごとに画素電圧を読み出せるため高速化が実現されています。

CCDとCMOSの素子構成

2.センサーからの高速読み出し

山本:CCDセンサーでは、不要な部分を高速で読み捨てることは可能ですが、それでも全画素を読み出すことが必要でした。それに対しXCL-SGシリーズに使用されている CMOSセンサーでは指定した領域のみを読み出すことが可能です。
読み出し速度の具体例として、必要とする画像が図に示す青枠で囲まれた4つの部分に分かれている場合、読み出し方によるフレームレートの違いは次の様になります。

  • 全画面を読み出す場合:約32fps
  • 従来の単一ROIで読み出す場合(赤枠領域):約44fps
  • マルチROIで読み出す場合(青枠領域のみ):約81fps

CMOSイメージセンサーの読み出しエリア

斎木 嘉春 テクニカルサポート担当
斎木 嘉春
テクニカルサポート担当
平 聡 ハードウェア担当
平 聡
ハードウェア担当
山本 俊昭 ソフトウェア担当
山本 俊昭
ソフトウェア担当

マルチROIの読み出し領域の指定では次のように工夫をしています。
CMOSイメージセンサーからの読み出し設定領域は、図Aに示すように縦横それぞれの帯状となっています。これではユーザーが必要とする領域を指定するのに座標位置の計算をそれぞれに対して行う必要があります。そこで図Bに示すようにXCL-SGシリーズでは、必要とする領域を矩形で容易に選択できるようにし、その領域を基に読み出し領域が縦横帯状になるようにカメラ内部で自動計算を行います。ユーザーは最大8か所の領域が選択可能です。さらにXCL-SGシリーズでは、領域を設定する際、選択領域が視認できるように非選択領域を暗く表示するハイライト機能を有しています。

図A:イメージセンサーの領域指定/図B:ユーザーの必要領域設定(背景:黄色)・読出し領域(背景:黄色+オレンジ色)

瀬戸口 淳 ハードウェア担当
瀬戸口 淳
ハードウェア担当

3.バーストトリガー/フレーム処理の高速化

瀬戸口:高速化を実現する代表的な機能として、バーストトリガーとフレーム処理があります。

●バーストトリガー

バーストトリガーモード(機能追加予定)は、1回のトリガー信号で指定枚数の露光を繰り返す機能です。
従来のソニーのカメラは、記録開始を正確にしようとすると、トリガー動作を選ぶ必要があり、その上で記録間隔に関してもトリガー信号を入力して、撮影タイミングを指定する必要がありました。

バーストトリガーモードを利用すると、最初のトリガー信号を入力し起動をすれば、以後はトリガー信号の入力無しで、一定周期で映像を出力します。(バーストトリガー概図:(A)露光時間1パターン設定時 参照)
繰返し回数を指定して自動的に停止するモードと、停止コマンドを受信するまで継続して繰り返す2つのモードもあります。
また、あらかじめ2つの露光時間を指定しておくことで、2つの露光条件を自動的に切り替えながら、映像を撮り続ける機能も有しています。(バーストトリガー概図:(B)露光時間2パターン設定時 参照)

バーストトリガー概図

頴川 聡 設計プロジェクトリーダー
頴川 聡
設計プロジェクトリーダー

●フレーム処理の高速化

頴川:XCL-SGシリーズでは、撮影した画像を一旦カメラ内蔵のメモリーに格納し、複数枚の画像から1枚の画像を合成し、カメラから出力する機能を搭載しています。この機能をソニーでは「フレーム演算*」と呼んでいます。( * 第2回インタビューサイト参照

カメラ内でフレーム演算処理を行い、カメラ後段の画像処理の負荷を低減しています。カメラ内のメモリーを有効に使うことで、安価なBase Configuration(以下:ベースコンフィグ)のシステムにおいても、狭帯域のベースコンフィグ以上の処理ができます。

複数枚の画像を同一の露光時間で撮影して、その平均を生成するフレーム平均処理を例に紹介します。
カメラリンクタップ:2, カメラリンク出力周波数:65Mhz, 平均枚数:16枚, 露光時間:10msの場合、 一連の処理時間は、カメラ内通常動作時は800msに対し、高速駆動時は約300msと短縮できます。

Base Configuration時のフレーム処理概図

4.カメラインターフェースとしての高速化

平:XCL-SGシリーズは、ソニーのカメラリンクインターフェースとしては初めてBase(3tap)/ Medium / Full / 80bitの各出力フォーマットに対応しました。最も広帯域80bit(8bit x 10tap)出力を使用すると、本機に搭載するCMOSイメージセンサーの高フレームレート性能を最大限に発揮することができます。
また、カメラリンクのクロックを85MHz / 65MHz / 45MHzから選択する機能も初めて搭載しました。クロック速度を落とすことで、より長いカメラリンクケーブルをお使いいただくことができます。

高速読み出しのユースケース、メリット

1.センサーからの高速読み出しのユースケース、メリット

斎木:具体的なユースケースやメリットについて、商品企画担当より説明をお願いします。

神戸:通常、エリアスキャンカメラは4:3あるいは16:9画角といったイメージセンサーの有効画素に準ずる映像を出力します。
ただし、アプリケーションやお客様のユースケースによっては常に全画素情報が必要とは限りません。例えば、基板検査装置において、特定部品や特定の箇所に注目して検査を行うだけで良く、その対象が映像内右上と左下のみに存在するケースもあり得ます。この場合、対象外の画素情報は不要であり、データ量も冗長となることから、画像の取り込みから周辺機器がアクションを開始するまでのタクトタイムが長くなります。
そこで、マルチROI機能を用いて、必要とする領域のみを切り出すことによって転送データを最小化し、読出し時間を最短化することが可能です。
ITSなどにおいても同様で、必要なデータがナンバープレートだけであれば、その部分を切り出すことにより高速な処理を実現することが可能です。

ユースケース基板画像_AreaGain-OFF

神戸 良 商品企画担当
神戸 良
商品企画担当
能勢 暁彦 商品企画担当
能勢 暁彦
商品企画担当

2.バーストトリガー/フレーム処理の高速化のユースケース、メリット

能勢:1枚の5Mピクセルの映像は、RAWデータであってもそのデータ量は5MB、RGBデータ(24bit)であれば15MBとなります。30fpsの映像であれば、1秒間でそれぞれ150MB(RAWデータ)~450MB(RGBデータ)と膨大なものとなります。
XCL-SGシリーズは最大154fps@5Mピクセルでの映像撮影が可能なカメラです。その高フレームレートゆえ高速記録用カメラとして使われるケースがありますが、同時にストレージの記録可能容量を意識する必要性が出てくるものと思われます。ことのき、データ容量を最適化するために記録の開始と終了の設定が重要となり、映像の頭出しを合わせた上で、指定された周期で映像を連続に出すことが可能なバーストトリガーモード(機能追加予定)が有効です。
またこの機能を利用することで、複数カメラを同期し3D映像カメラとして利用することや、音声と同期することにより映像製作カメラとして利用することが容易となります。

3.カメラインターフェースとしての高速化のユースケース、メリット

神戸:自動車や電気製品など高度電子化に伴って部品点数が増加しており、これら製造領域での部品検査タクトタイムは数秒程度といわれています。
一方で、部品の小型化に伴い、検査の高分解能要求は、ますます高まっており、高解像度のカメラが求められています。具体的には、画角を維持しつつミクロンレベルの分解能の検査を行うためには5Mピクセルレベルの解像度が必要です。カメラの高解像度化に伴ってカメラインターフェースに充分な帯域も必要となります。
この状況においてタクトタイムの短縮を実現するには、映像の転送スピードの向上が非常に重要です。

今回、XCL-SGシリーズでは、5Mピクセルの解像度を有しながら154fps(8bit時)を超えるフレームレートを実現可能なCMOSセンサーを採用しており、転送スピードの点で成熟したデジタルインターフェースであるカメラリンクの、しかも6Gbpsの転送を可能とするFull Configuration(フルコンフィグレーション)とのベストマッチングを実現しています。

評価機の貸し出し、お見積もり、およびご購入は特約店へお問い合わせください。

記事のレビュー

アンケートにご協力をお願いします。

Q1.内容は参考になりましたか?
Q2.弊社マシンビジョンカメラの採用状況について教えてください。
Q3.業種を教えてください。
Q4.職種を教えてください。