深度感測技術實現3D機器視覺 - 電子工程專輯

深度感知是指從三個維度「看」物體、並測量物體距離多遠的能力。

LiDAR無疑扮演了自動駕駛車輛的眼睛，許多車廠都利用它來構建車輛周圍的3D環景圖。

不過， ... 【下周直播】半導體產業從設計到製造端到端數位化解決方案！ 立即報名>> 登入 註冊 聯繫 首頁 新聞 TechRoom 產品新知 網通技術 電源技術 控制技術 可程式邏輯技術 處理器技術 感測器/MEMS技術 EDA/IP技術 光電技術 儲存技術 介面技術 無線技術 製造技術 放大/轉換技術 嵌入式系统 測試/量測技術 資源 資料下載 申請中心 線上研討會 小測驗 影音 視訊 OnAir 研討會與活動 GreenChallenge 特別報導 綠色工程開創永續未來 雜誌 各期雜誌線上看 2022年6月雜誌 編輯計劃表 訂閱雜誌 論壇 X 首頁»感測器/MEMS技術»深度感測技術實現3D機器視覺 深度感測技術實現3D機器視覺 作者:Anne-FrançoisePelé，EETimes歐洲版主編 類別:光電技術 2021-07-20 (0)評論 在感測技術最新發展的助力之下，越來越多的機器被賦予了感知、行動及與環境互動的能力；為此，《EETimes》歐洲版團隊探索了當前3D視覺技術領域，以期更清晰地了解其市場驅動力以及零組件供應商面臨的機遇和挑戰... 什麼是人類視覺能做到而電腦視覺所不能的？人類從三個維度感知世界，而深度感測器是實現更高等級機器視覺、解鎖自動駕駛功能的關鍵。

在感測技術最新發展的助力之下，越來越多的機器被賦予了感知、行動及與環境互動的能力；為此，《EETimes》歐洲版團隊探索了當前3D視覺技術領域，以期更清晰地了解其市場驅動力以及零組件供應商面臨的機遇和挑戰，還有可支援更高等級深度敏感度的新興技術。

  Yole預期車用3D感測技術市場規模將在未來五年內成長四倍。

(圖片來源：YoleDéveloppement)   往更高深度發展 根據市場研究機構YoleDéveloppement的統計數字，在模組層面，3D感測市場目前市值為68億美元，將以15%的複合年成長率(CAGR)在2026年達到150億美元規模。

YoleDéveloppement光學和感測部門首席分析師PierreCambou接受《EETimes》歐洲版訪問時表示：「因為華為(Huawei)禁令以及Android陣營事實上放棄了3D感測技術，扮演主要市場驅動力的手機與消費性電子市場的成長出現暫時性中斷；」他補充指出，在另一方面，「由於Apple在iPad和iPhone添加光達(LiDAR)感測器，又加速了此一趨勢。

」 3D感測在汽車領域的應用也在加速。

LiDAR感測器和座艙內3D攝影機越來越多地被採用，「我們對汽車市場的3D感測發展非常樂觀，該市場規模在未來五年應能成長四倍。

」 目前較流行的3D成像技術包括立體視覺(stereovision)、結構光(structuredlight)和飛行時間(ToF)。

Cambou指出，立體視覺在10公尺以外的遠距離感測應用中表現極佳，例如大疆(DJI)等業者的消費性無人機，以及Mercedes、Jaguar和Subaru等車廠在某些車款採用的前向ADAS攝影機。

結構光技術則一直是1公尺內短距離感測的首選方案，經典應用案例如iPhone將其用於前向FaceID臉部辨識功能；該技術也被導入某些工業應用，獲得Photoneo等公司採用。

至於TOF，Cambou表示該類系統主要用於中距離，目前主要有兩種方法；一是間接(indirect)ToF，獲得華為、三星(Samsung)與LG等手機應用於2019和2020年款式的Android手機後向攝影機，主要用於拍照。

還有另一種直接ToF，已導入Apple最新款iPhone；Cambou指出：「直接ToF是LiDAR中已經採用的技術(例如Velodyne、Innoviz、Ibeo、Hesai和RoboSense等公司的產品)，但最終可能會在接收側使用矩陣形式感測器。

由於來自自動駕駛的激勵，這類感測器正在取得進展。

」 EELs還是VCSELs？ LiDAR擷取整個場景的能力，使該技術在機器視覺應用中極具價值；取得3D點雲最常用的兩種系統為FlashLiDAR和掃描式(scanning)LiDAR。

amsOsram全球行銷經理MatthiasHoenig表示，在掃描式LiDAR系統中，聚焦脈衝雷射光束透過機械旋轉反射鏡或微機電系統(MEMS)反射鏡定向到某個特定的小立體角(solidangle)。

由於高功率雷射光束可以被控制發射在很小的立體角，因此與使用3DFlash系統可達到的距離相比，使用光學功率元件可達到的距離要遠得多。

Hoenig指出：「邊射型雷射(Edge-emittinglasers，EEL)是這類系統架構的理想選擇，因為是透過一個很小的發射區域在極小空間內提供大量的光線，在功耗和距離方面都表現出色。

」現在已成為ams子公司的Osram表示，隨著封裝溫度在應用過程中上升，其雷射器在波導穩定性方面最近取得了不少進展，該公司目前正在探索針對LiDAR應用的具有更高波長產品。

Yole預測，就雷射二極體而言，EEL目前的市場機會最大，但垂直共振腔面射型雷射(VCSEL)將會在未來迅速趕上。

VCSEL結合了紅外線LED的高功率密度、封裝簡單優點，以及雷射的光譜寬度與速度。

「這項技術的優勢包括出色的光束品質、簡單的設計和小尺寸，這也解釋了VCSEL市場成長的原因；」Hoenig表示：「通常來說，雖然在某種程度上它們需要的佔位空間會比EEL發射器更多，但在某些應用領域又具有優勢。

」 他解釋，例如，VCSEL所具有的輻射特性使其特別適用於FlashLiDAR系統以及工業應用──如機器人、物流車輛等──的主動立體視覺。

至於VCSEL相關的技術挑戰，Hoenig表示，amsOsram正在研究更高的光輸出。

在2018年收購Vixar之後，Osram陸續展示了比單接面(single-junction)VCSEL效率更高、速度更快的雙接面與三接面VCSEL技術。

在2021年的美國PhotonicsWest展會上，amsOsram又推出了基於多接面技術的PowerBoostVCSEL產品系列；該公司表示，他們還在探索改善散熱的各種方法，例如，從頂部發射元件改為底部發射元件。

amsOsram資深行銷經理LeiTu表示，所有常見的3D感測方法都仰賴各個系統功能區塊之間的順暢互動。

通常這些系統由光源、專用光學元件、探測器，和處理探測訊號之下游軟體(downstreamsoftware)組成。

她接著指出，在未來，「對amsOsram這樣的元件製造商來說，重點將是以可行的最佳方式滿足客戶的需求，包括元件的小型化，以及光學性能和使用壽命的最佳化，當然還有易用性。

」Tu補充，有些客戶喜歡「現成的隨插即用解決方案，」另一些客戶則更傾向於自己動手組裝單個元件，或透過協力廠商將它們組裝成完整的解決方案。

」 用於盲點偵測的深度和側面感測 深度感知是指從三個維度「看」物體、並測量物體距離多遠的能力。

LiDAR無疑扮演了自動駕駛車輛的眼睛，許多車廠都利用它來構建車輛周圍的3D環景圖。

不過，相關技術開發工作主要還是聚焦於在支援較長探測距離(200公尺以上)但視野相對狹窄(約20°~30°)的前向LiDAR系統。

一家在2019年自德國Fraunhofer矽技術研究所(InstituteforSiliconTechnology，ISIT)獨立出來的公司OQmented正在努力改變這種狀況；該公司表示，他們已開發出一種MEMS反射鏡技術，可以使側邊LiDAR具有180°視野。

OQmented創辦人兼董事總經理UlrichHofmann表示，「側視LiDAR系統主要針對短距離盲點偵測；」盲點偵測是一項重要的安全功能，它使短距離側面掃瞄系統「比遠視系統更具意義。

」舉例來說，「在進入一個十字路口時，妳會需要這些LiDAR系統在短距離範圍進行觀察，因為這種環境中的行人、自行車騎士和汽車都很多，很容易混亂並發生意外。

」 「出於以上原因，不僅在需要有寬廣角度的清晰視野，較高的橫向解析度也很重要，它可以區分不同的物體，包括靜態和移動的物體；」OQmented在其MEMS反射鏡頂部以曲面玻璃蓋取代平面玻璃蓋，讓雷射光束成功傳輸到封裝中，並實現180°雷射掃描。

Hofmann指出，該公司的專利BubbleMEMS技術不僅提供了「密封真空封裝和保護，」避免元件受環境污染物影響，還確保了雷射光束成功出入封裝，因為雷射光束與玻璃的角度始終垂直；當使用平面玻璃蓋時，情況就並非總是如此理想，當掃描角度較大時，部分光線會在蓋子處反射回封裝中，這對於任何類型的LiDAR解決方案都是不可接受的。

BubbleMEMS技術的命名源自於該MEMS反射鏡上方的曲面玻璃蓋。

（來源：OQmented）  更接近資料來源 影像感測器會生成大量的資料，儘管目前大部分處理過程都在雲端或中央處理單元完成，但其發展趨勢是使運算更接近資料來源，並將智慧元素嵌入感測器內部或附近。

Yole的Cambou表示，通常情況下，資料採用H.264技術壓縮，這意味著它可以透過100Mbp的頻寬傳輸；「但在感測領域，資料流通常是10到100倍——典型機器視覺資料流可達到1Gbps——而且，如果同時使用10個攝影機，則很快會達到10Gbps甚至更高。

」 由於CPU任務繁重，靠近感測器進行資料處理的必要性越來越高；如果需要，所有預處理、清理和AI強化都必須在更靠近感測器的位置進行，以減輕CPU的負擔；」但Cambou也指出，目前還幾乎沒有運算能夠在感測器本地進行，因為會產生熱。

前景展望 影像感測器是實現自動駕駛的一個關鍵因素，卻不能無限制地添加，因為所需要的運算能力也會激增。

對此Yole的分析師表示，有一種解決方案是提高資料品質；「但如果真的想解決自動駕駛問題，我們很快就會需要更多樣化的解決方案。

」   影像感測器技術的創新歷程。

(圖片來源：YoleDéveloppement)   新技術不斷湧現，用以提高靈敏度並構建可以看得更清楚的機器。

Cambou指出了兩個方向：一是神經形態感知(neuromorphicsensing)，也就是每個像素都扮演神經元，並嵌入一定程度的智慧；二是以及量子成像，即單獨偵測每個光子。

總部位於法國的神經形態新創公司Prophesee推出了基於事件(event-based)的工業級視覺感測器──第三代Metavision感測器。

該公司產品行銷暨創新總監SimoneLavizzari表示：「如果Metavision感測器與VCSEL投射器或其他可以投射適當圖案的投射器結合使用，就可以實現基於事件的結構光感測器；」也就是說，當今最先進的深度感測技術在曝光時間、精確度和耐用性之間取得了平衡。

Lavizzari表示，將紅外線(IR)投射器與Prophesee的Metavision感測器結合，可為每個獨立像素提供快速反應時間，進而允許直接在感測器內部進行時間模式識別和提取；「如果採用基於事件的感測器來做結構光，反應會非常快。

我們可以將掃描時間提高50倍，只需1毫秒(millisecond)就能獲得完整的3D掃描，而傳統基於影格(frame-based)方法則需要10~33毫秒。

」 基於事件的感測器也具備先進的精確度，而且「軟體複雜度已降至最低，因為不需要在後處理中進行匹配(matching)；」Lavizzari指出，匹配不是在事件發生後在影格上完成，而是在感測器層級逐個像素完成，這其中一個優勢是，「它沒有運動模糊，因為可以非常快速地截取點雲，而且相容於戶外應用相容。

」超快脈衝偵測不僅可以提高功率，還能保持該技術的人眼安全等級。

在量子成像方面，Cambou提到了GigajotTechnology的QuantaImageSensors(QIS)，這是一款具有光子計數(photon-counting)能力的單光子影像感測器。

Gigajot是一家總部位於美國加州的新創公司，聲稱能以每像素/影格1個光子的等級，從一個個影格中重建動態場景。

責編：JudithCheng；本文同步刊登於EETimesTaiwanDigital數位板雜誌2021年7月號 (參考原文：DepthSensingTakesMachineVisionintoAnotherDimension，ByAnne-FrançoisePelé）         訂閱EETimesTaiwan電子報 加入我們官方帳號LINE@，最新消息一手掌握！ 分享TwitterFacebookLinkedInPrintMoreRedditTumblrPinterestPocketTelegramWhatsAppSkype Related 文章Tag: 3D感測3D視覺LidarToF影像感測器感測器機器視覺神經形態 發表評論 取消回覆 YoumustRegisteror Logintopostacomment. 訂閱EETimesTaiwan電子報 最新文章 最熱門文章 2022-07-22 把CPUcache堆到256MB真有那麼美好？ 2022-07-22 聯電助力產業鏈變綠　目標2025綠色產品佔逾七成 2022-07-22 供應鏈庫存積壓　第三季NANDFlash價格跌幅擴大至8~13% 2022-07-21 為應用選擇最合適的電池 2022-07-21 供應鏈危機已成製造業最大挑戰 2022-07-20 半導體產業凜冬將至？ 2020-11-09 智慧家庭尚未準備就緒 2018-02-14 EUV微影：進展與挑戰並存 2022-04-06 自動駕駛車神話：十二大禍因 2016-12-02 可穿戴醫療電子商機在何處？ 2020-12-07 又是不怎麼智慧的智慧家庭設定… 2022-04-29 思考基本熱學概念 2022-06-07 x86架構無法變身低功耗CPU？ 2020-10-26 AiP技術為毫米波雷達帶來的演進與創新 2020-09-23 振興美國晶片製造業就對了？學者提異見 最新文章 Cache 2022-07-22 把CPUcache堆到256MB真有那麼美好？ greenengineering 2022-07-22 聯電助力產業鏈變綠　目標2025綠色產品佔逾七成 NandFlash 2022-07-22 供應鏈庫存積壓　第三季NANDFlash價格跌幅擴大至8~13% 鉛酸電池 2022-07-21 為應用選擇最合適的電池 供應鏈 2022-07-21 供應鏈危機已成製造業最大挑戰 最熱門文章 CMOS影像感測器 2022-07-20 半導體產業凜冬將至？ ConnectedHomeoverIP 2020-11-09 智慧家庭尚未準備就緒 光電技術 2018-02-14 EUV微影：進展與挑戰並存 法規 2022-04-06 自動駕駛車神話：十二大禍因 Intel 2016-12-02 可穿戴醫療電子商機在何處？ EET電子工程專輯©2022本網站內之全部圖文，係屬於eMediaAsiaLtd所有，非經本公司同意不得將全部或部分內容轉載於任何形式之媒體 關於我們 隱私政策 用戶協議 繼續瀏覽網站