3D立體成像技術(shù)通常用于焊線（bonding wire）檢查，但存在許多挑戰(zhàn)。其中挑戰(zhàn)之一是難以使用塊匹配算法來解決對應(yīng)問題，因為某些焊線可能具有無紋理的水平結(jié)構(gòu)。對于這樣的對象，對應(yīng)搜索可能失敗或執(zhí)行低效，因為算法的圖像內(nèi)容對于水平方向上的多個塊是相同的。
圖1：此示意圖顯示了成像系統(tǒng)組件的定位方式。
其他挑戰(zhàn)還包括平行垂直線間距和陰影效應(yīng)。
幸運的是，這些限制是有可能被克服的，要克服這些挑戰(zhàn)，要從“優(yōu)化用于焊線檢查的3D立體成像系統(tǒng)”開始。
由于焊線直徑可以從幾微米到幾百微米，光學(xué)分辨率高度依賴于應(yīng)用。在選擇用于焊線檢查的合適的工業(yè)相機時，開發(fā)人員必須仔細(xì)考慮高度分辨率、高度范圍和視場。
管燈通常是用于焊線檢查應(yīng)用的最合適的光源。這類裝置提供均勻的空間照明，具有出色的時間穩(wěn)定性和光譜穩(wěn)定性，有助于保持圖像的外觀不隨時間而改變。
為確保優(yōu)化設(shè)置，用戶必須考慮工作距離，從而將相機和光源安裝在離掃描表面合適的距離（見圖1）。將相機相對于表面法線（掃描線）以大約5°的角度安裝（不是0°安裝），使得物體在場景照明更強的位置處成像。
考慮到相機的傾斜角度，為了從中心角度精確測量高度，數(shù)值要乘以傾斜角的余弦值（見圖2）。
圖2：高度測量中相機傾斜角的校正可以用公式完成。
水平線及相應(yīng)問題
立體成像應(yīng)用使用基于相關(guān)的塊匹配算法來求解對應(yīng)關(guān)系。沿著傳感器線，在水平方向上執(zhí)行一對立體圖像的左圖像和右圖像之間的對應(yīng)搜索。
如前所述，在焊線檢查中，對應(yīng)搜索可能失敗或執(zhí)行低效，因為塊匹配的圖像內(nèi)容對于水平方向上的多個塊是相同的。
圖3給出了該問題的圖示，其中視差圖像顯示了非水平線的有效視差值（均勻灰色），以及水平線的可能錯誤或不相關(guān)的值（不均勻的灰色和黑色區(qū)域）。
圖3：從視差圖像中，我們看到非水平線的有效視差值（均勻灰色），以及水平線的可能錯誤或不相關(guān)的值（不均勻的灰色和黑色區(qū)域）。
該問題的三種可能解決方案包括：
?如果可能，在圖像平面中旋轉(zhuǎn)掃描對象，使水平線不會出現(xiàn)。
?如果可能，旋轉(zhuǎn)相機使掃描線不垂直于掃描方向。
?使用圖案投影儀在焊線上創(chuàng)建獨特的圖像紋理。
相對于掃描方向旋轉(zhuǎn)相機，使得焊線和傳感器線不再平行，有助于防止跨多個水平塊的相同圖像內(nèi)容，并且避免潛在的不匹配或不相關(guān)的值。
使用線掃描相機時，由此旋轉(zhuǎn)產(chǎn)生的剪切圖像內(nèi)容在進(jìn)行2D幾何測量時，可能會導(dǎo)致不準(zhǔn)確。因此，使用幾何校準(zhǔn)和后續(xù)的圖像后處理來補償這種圖像剪切是很重要的。小的旋轉(zhuǎn)角度通常不會影響RGB圖像質(zhì)量。然而，隨著角度的增加，可能需要單通道3D計算以減少紅色、綠色和藍(lán)色像素在傳感器方向上移位，以及所得到的彩色圖像的光學(xué)低通濾波的影響。
平行垂直線的間距
掃描場景中對象的高度范圍通常確定用于3D計算工作所需要的平行垂直線的最小距離，該關(guān)系取決于基于相關(guān)的塊匹配算法如何工作。
例如，圖4顯示了一對立體圖像的左右圖像。左側(cè)相機圖像中的紅色標(biāo)記區(qū)域顯示給定窗口大小的參考塊。塊匹配算法在預(yù)定義的視差搜索范圍內(nèi)，搜索右側(cè)相機圖像中的對應(yīng)塊，并以黃色標(biāo)識出來。
注意，中間圖像中相當(dāng)小的視差搜索范圍僅包括一條線，即與參考塊匹配的線。相反，右側(cè)圖像中顯示了具有覆蓋多條線的視差搜索范圍的情況，其中塊匹配可能由于模糊的對應(yīng)而失敗。
圖4：圖中顯示了一對立體圖像的左右圖像。左相機圖像中的紅色標(biāo)記區(qū)域是給定窗口大小的參考塊。中間圖像顯示較小的視差搜索范圍。右圖顯示了覆蓋多條線的視差搜索范圍。
因為視差搜索范圍決定著3D測量的高度范圍，并且通常取決于檢查任務(wù)的感興趣區(qū)域中的最小和最大物體高度，所以限制范圍以確保唯一匹配并不總是可能的。對于此類應(yīng)用，開發(fā)人員應(yīng)考慮使用其他方法，例如在立體圖像對中分割左右圖像中的單獨的焊線，以及通過標(biāo)準(zhǔn)2D圖像處理算法標(biāo)記相應(yīng)的焊線。如果已知焊線或焊點的起點和終點的圖像位置，則標(biāo)記任務(wù)應(yīng)該相對簡單。
在此之后，可以創(chuàng)建僅包含焊線的人工圖像對，其中在視差搜索范圍內(nèi)可以實現(xiàn)唯一匹配，并且將對應(yīng)的視差圖像合并到單一高度圖中。使用這種方法的折衷是：增加計算需求，計算量會隨著要求處理的單一焊線的圖像對數(shù)量的增加而增加。加速系統(tǒng)的一種方法是：使用并行多個場景的分布式計算，以及每個場景至少一個GPU。
通過Chromasens 3D-API的rawImageCoordinatesTo3D功能，還可以從立體圖像對的相應(yīng)圖像點計算3D坐標(biāo)。基于此，通過使用圖像處理來提取右側(cè)和左側(cè)立體圖像的線上的對應(yīng)點，可以解決垂直線問題。將得到的離散3D坐標(biāo)合并到3D圖像中焊線的全局表示也是可能的。通過使用該方法，基于特定應(yīng)用圖像處理的焊線探測方法，取代了基于圖像相關(guān)的塊匹配方法。
陰影效應(yīng)
在掃描場景中，定向照明通常會導(dǎo)致焊線投射到背景上的陰影。管燈能減少這種效應(yīng)。但是，在檢查某些背景材料和焊線時，可能會殘留陰影效應(yīng)（見圖5）。
當(dāng)左側(cè)圖像和右側(cè)圖像的相關(guān)窗口的圖像內(nèi)容，在對應(yīng)區(qū)域中包含不同的陰影時，這種陰影就會帶來問題。在這種情況下，塊不匹配并且相關(guān)值低。
圖5：立體圖像對的左側(cè)圖像和右側(cè)圖像中的陰影效應(yīng)。
左右相機之間的透視差異使得陰影出現(xiàn)在立體圖像的不同位置。改善場景照明（這并不總是可能的，并且可能需要復(fù)雜的定制光源）是克服該問題的一種方法。
減少相關(guān)窗口塊尺寸是另一種方法。但是，有必要選擇所需的最小尺寸，同時確保在相應(yīng)的窗口中保留足夠的獨特紋理特征以進(jìn)行3D計算。通過圖像處理技術(shù)從立體圖像對中去除陰影也是可能的，例如從包含陰影效應(yīng)的背景中分離焊線。通過設(shè)置為零值刪除背景區(qū)域后，Chromasens的3D API-through通過配置可以在計算中忽略這些區(qū)域。
雖然存在水平線、平行垂直線間距和陰影效應(yīng)的挑戰(zhàn)，為成功實現(xiàn)用于焊線檢查應(yīng)用的3D立體視覺系統(tǒng)帶來了困難，但是也存在一些方法能夠克服這些障礙。
文章來源：機器視覺網(wǎng)，犀靈機器人http://www.35692.cn整理發(fā)布