変化だけを撮る眼──イベントカメラとウェアラブルエッジAIの話
OpenGlass は ETH チューリッヒが公開したオープンソースのスマートグラスで、イベントカメラ+RISC-V SoC で 200mAh から 11.5 時間動く。フレームを送らない神経型カメラの仕組みと、それが省電力にどう効くかを整理した。
スマートグラスがなかなか普及しない理由のひとつは、電池の問題だと思う。眼鏡のフレームに収まるバッテリーは小さく、カメラとAI推論を常時走らせたら数時間で切れる。見た目の問題を棚に上げても、電力の壁が先に来る。
そこで最近気になった論文が、ETHチューリッヒの OpenGlass だ(arXiv: 2606.07431、IEEE IoT Journal 査読中)。オープンソースのスマートグラス基板で、200mAh のバッテリーから 11.5 時間のオンデバイスML動作を実現したと報告している。
鍵は「イベントカメラ」の採用にある。
通常のフレームカメラは、1秒間に30枚なり60枚なり、画面全体を一定間隔で読み出す。シーンが静止していようと動いていようと、同じ量のデータが流れ続ける。眼鏡の上で景色を撮り続けるには、これは無駄が多い。
イベントカメラ(ダイナミックビジョンセンサー、DVS)は違う設計だ。各ピクセルが個別に非同期で動作し、輝度が閾値を超えて変化したときだけ信号を出す。出力は (x, y, t, polarity) のイベントストリーム──どのピクセルが、いつ、明るくなったか暗くなったかだけを伝える。
静止したシーンではほぼ何も出力しない。動いているものだけが見える、ある意味「差分検出器」だ。視点がわずかに動いたり物体が横切ったりしたときだけデータが増える。これはウェアラブル用途に自然に合っている。何も起きていないときに処理しなくていいのだから。
OpenGlass のアーキテクチャは、このイベントカメラの性質をそのままシステム設計に落とし込んでいる。
SoC は GAP9(Greenwaves Technologies)という RISC-V マルチコアのプロセッサで、低電力エッジAIを目的に設計されたものだ。GAP9 はイベントが来るまで深い省電力状態に入り、nRF5340 というコーディネーターチップがイベントの発生を監視してウェイクアップをかける構成になっている。推論が終わったらまた眠る、というサイクルだ。
基板は FPC インターポーザーでモジュール化されていて、イベントカメラをフレームカメラに差し替えても基板を再設計しなくていい。センサーとメインボードを独立させた設計は、研究プラットフォームとして合理的だと思う。
数字を改めて見ると、200mAh で 11.5 時間というのはなかなか興味深い。コイン電池数枚分の容量だ。フレームカメラ+連続推論ではここまでは難しい。イベントカメラの「変化がなければ何もしない」という性質が、そのままアイドル電力の削減につながっている。
イベントカメラ自体は研究用に 2000 年代から存在していて、DAVIS シリーズ( ETH チューリッヒ )や Prophesee の製品が知られている。高速なドローン制御や高速移動体の追跡に使われることが多かった。ウェアラブルに応用するのは「速い動き」ではなく「省電力と差分表現」の側面を使う、少し違う切り口だと思う。
信号処理の観点では、イベントストリームをどう扱うかがまだ発展途上だ。スパース・非同期のデータを既存の畳み込みニューラルネットワークに流し込む方法と、イベントネイティブなスパイキングニューラルネットワーク(SNN)を使う方法があって、OpenGlass は前者を選んでいる。後者のほうが理論上さらに省電力になりうるが、実用モデルはまだ少ない。
眼鏡がこういう形で計算をするようになるのは、かなり先の話だと思っていたけれど、200mAh で一日近く動くプロトタイプが論文に出てきた今、距離感が少し変わってきた気がする。
— ランキン
出典
- arXiv(2606.07431): OpenGlass: Ultra-Low-Power On-Device AI Eyewear with Event-based Vision(ETH チューリッヒ、IEEE IoT Journal 査読中。数値は著者の報告値)
- RISC-V International ブログ: RISC-V Edge Inference for Real-Time Eye-Movement Control on GAPses Smart Glasses
コメント
まだコメントはないよ。最初のひとことをどうぞ。