• TOP
  • >
  • gallery
  • >
  • インタビュー 第2回目 ソニー独自のデモザイク処理とは?

第2回目 
ソニー独自のデモザイク処理とは?

三ッ堀裕之
(SDK開発担当)

三ッ堀裕之
(SDK開発担当)

『デモザイク』処理が解像感を向上させている。
左:偏光子の顕微鏡撮影画像、中央:各画素と偏光子の模式図、右:45°のみ抽出した場合の模式図

三ッ堀裕之
(SDK開発担当)

三ッ堀裕之
(SDK開発担当)

ここまで、偏光カメラの利点をお話いただきましたが、逆に注意する点などはありますか。
三ッ堀

三ッ堀はい、偏光カメラにも弱点があります。

イメージャー上の画素ごとに異なる角度の偏光子を合わせた構造だとお話しましたが、この異なる角度というのは0°/ 45°/ 90°/ 135°の4つの角度から構成されています。この4方向の偏光子で受ける情報、つまり4画素を1つの単位として偏光情報を計算に使用しているため、解像感が1/4になってしまうのが最大の弱点だと考えています(図1)。

図1:解像感が低減するイメージ図

左:偏光子の顕微鏡撮影画像、中央:各画素と偏光子の模式図、右:45°のみ抽出した場合の模式図

実際、偏光光を当てた被写体を撮影すると4つのうちの特定の画素が黒くなっており、画像がモザイク状に見えてしまう点が弱点なんです(図2)。

図2:モザイク状の画像

このモザイク状に見えてしまう弱点を補うべく、弊社では偏光処理のために独自のデモザイク処理を開発しました(図3)。

図3:デモザイクによる効果

左:偏光子の影響で格子が見える画像、中央:サイズを合わせると角地によるブロックノイズされる画像、左:デモザイク処理で通常カメラと同等の画像
デモザイク処理が、解像感の低減をうまく補っているということですね。
このデモザイク処理はどこで実現しているのでしょうか?
三ッ堀

三ッ堀偏光カメラ専用のデモザイク処理はかなりの計算量が必要で重たい処理なのですが、弊社ではカメラは撮影のみ、デモザイク処理を含め偏光情報の処理は後段のPCで行う、という構成にすることで解決しています。PCでは計算にGPUを使うことができるので、デモザイクだけでなくカメラ内部の限られた回路では処理できないような計算も実現できます。

なるほど。カメラは撮影のみ、処理はPC。餅は餅屋での発想ですね(笑)。
三ッ堀

三ッ堀また、この構成には別のメリットもあります。カメラが受光した素の偏光情報をPCに渡すので、そのまま偏光情報のデータとして保存することができます。カメラ内部で計算して出力する構成の場合、素の偏光情報が失われてしまうのですが、弊社の構成では素のデータをPC上に残すことでその情報を何度でも再利用することができます。可視化のパラメータを変えて検討したいようなときでも再撮影せず、手元のデータでそのまま再計算できるので、手間が大きく減ると思います。

デモザイクの処理のためでなく、弊社の構成は別のメリットも生み出しているということですね。
「PCで計算」という話の流れになったので、SDKについて聞いても良いでしょうか?
ずばり、SDKの特長は何でしょうか?
三ッ堀

三ッ堀「偏光を使えば見えないものが見える」と、偏光の特性を説明するときによく使われるフレーズです。例えば反射を取り除いたり、ものに加わる力の状況が可視化出来たり、簡単に実現できるかのように表現されます。ですが、実際には偏光カメラで撮影したものとやりたいことを結び付けるには数学的な知識やプログラムの知識がそれなりに必要となってきます。上述したデモザイク処理も同様ですが、偏光だけでなく画像処理の知識もないと偏光情報を扱うことは難しいと思われます。

せっかく偏光カメラを入手しても、効果を確認するまでに数か月かけて数式を学んだりプログラムを組んだりしなければならないとしたら、商品として実用性に疑問が生じてしまいます。そのようなことがないように弊社では、デモザイク処理も含め、偏光の各種処理をSDKという形で使用しやすいように提供しています。また SDK にはサンプルとしてビューアーも添付していますので、カメラを入手後すぐにその効果を確認できると思います。

SDKを利用することでアプリケーション開発の効率化に貢献できることがわかりました。
カメラを入手後すぐに効果を確認できるのは設計者にとっては開発時のストレスが軽減されますね。

(つづく)
SDKの『反射除去』『リタデーション』機能は、応用範囲が広く、タクトタイム最小化に貢献

関連製品

Image
Sensing
Products

安心安全な世界を創る