基于全景圖的虛擬現實系統研究
摘要 全景圖(Panoramic Image)是近來出現在Internet上的另一種新的交互式的虛擬場景表示方式,它基于圖像繪制IBR（Image-Based Render）的方式再現了三維場景,可用瀏覽器實現虛擬場景的漫游,同時也詳細介紹了這種全景圖瀏覽器的實現原理。本文在總結已有技術的基礎上，提出一個基于全景圖的虛擬現實系統模型，并改進算法實現了高效的拼接。
關鍵詞 全景圖; 基于圖像繪制IBR; 虛擬現實; 圖像拼接
1 概述全景圖是基于圖形繪制IBR（Image-Based Render）的關鍵技術。現有的IBR技術大概可以分為四類：基于全景圖（Panoramic Image）的
方法，基于圖像深度信息的
方法，基于光場（Light Field）信息和基于 Morphing的
方法。現階段，相對成熟的技術是第一種基于全景圖的方法 ,而且它實現方便處理量易于在Internet實現。目前，業界對全景圖的基本制作方法是：在固定的視點用照相機或者攝像機按照一定的方式（通常是按照均勻角度繞軸旋轉360 度）采集圖像，采集之后的圖像輸入
計算機進行圖像拼接、整合等處理，生成無縫全景圖像，最后再用
計算機經過投影展示出來，并且提供局部的有限的漫游功能。雖然全景視圖有其自身的局限性，比如視點單一，只能在場景內部實現漫游等，但是由于該技術具有極強的可操作性，而且技術也相對成熟，已經成為應用最為普遍的IBR技術之一。目前全景視圖主要應用在：虛擬環境、游戲設計、電影特技效果、虛擬博物館等等。在商用領域比較著名的有Apple的QuickTime VR、IPIX Viewer、Live Picture、IBM的Hot Media等系統。
2 全景圖的制作流程全景圖制作流程包括全景模型選擇，圖像采集，圖像拼接，圖像縫合以及全景圖展示瀏覽五個步驟 ，如圖1。（1）全景模型選擇：根據全景圖投影展示方式的不同，主要可以分為3種模式：立方體模式、圓柱模式、球面模式。這三種模式就是分別把已經拼接好的全景圖投影到立方體/ 圓柱體/球體的內表面。此外還有其他展示模式，如采用正多面體去逼近球面的方法。（2）圖像采集：一般有兩種方法，用全景拍攝器材進行拍攝或者通過普通相機拍攝再進行圖像拼接。前一種方式比較容易采集圖像，但是這種方法往往意味著購買昂貴的攝影器材，因此影響了其通用性。而后一種方式，用普通相機在固定點拍攝圖片然后拼接生成全景圖的研究就顯得比較活躍了，而全景圖生成的核心技術——圖像拼接算法正是研究的重點。（3）圖像拼接與縫合：現有的全景圖像拼接生成算法主要可以分為三類：基于特征的方法、基于流的方法和基于相位相關的方法。在得到拼接好的圖像后，還需要對圖像重疊部分進行處理，以實現圖像的無縫拼接。目前經常采用的一種
簡單的圖像縫合技術就是線性插值法（Linear Interpolation）。（4）全景圖展示：得到360度的全景圖像后，還要把該圖像投影到所選擇模型的內表面展示，并提供簡單的瀏覽功能。
（5）運動物體生成和全景圖生成一樣，同樣可以用以上3種方法生成。在用照相機拍攝物體時，如果對物體的水平方向和垂直方向各拍攝一圈，就可以對物體進行二維的交互控制。鏈接是指：①把得到的全景圖按一定方式組織起來，供交互式顯示用；② 把運動物體嵌入到全景圖中去，成為“熱點”，使用戶可以對它進行交互式控制。
圖１ 全景圖制作流程
3 全景圖像拼接技術的研究3.1全景圖生成的經典算法自全景圖的概念提出到目前，有很多學者都對全景圖的生成算法做過深入的研究，其中McMillan和Szeliski等人的工作尤其突出。 McMillan和Bishop提出了全景函數模型，該算法根據攝像機繞軸旋轉360度所拍攝的圖像序列求解每個相機的參數，由此進行全景圖拼接，但是該算法不太適合于照相機，因為它要求兩幅圖像之間要有超過2/3 的重疊，這樣對一個場景如用照相機去采集圖像就需要拍攝大量的圖片，而這顯然增大了圖像采集的難度，也增加了計算量和誤差量。而且McMillan試圖通過柱面極幾何約束實現匹配點自動匹配，但是極幾何約束核心基礎矩陣對誤差過分敏感，也因此導致匹配結果無法實用。Szeliski和Shum[3]在他們的一系列的文章中提出了用8參數的二維（2D）投影模型求解投影矩陣M。該模型的
數學表達如下所示： (1) （2）
3.2全景圖像拼接算法歸類及其比較 現有的全景圖像拼接生成算法主要可以分為三類：基于相位的方法、基于流的方法和基于特征的方法。 （1）基于相位的方法：該方法利用傅立葉變換、小波變換等等先對圖像進行變換，再利用變換后的圖像的某些特征進行匹配。但是如果存在空間上的局部變化，就會導致該方法產生較大誤差。 （2）基于流的方法：也叫做基于面積的方法。該方法是通過比較兩幅圖像亮度（或顏色）差異，并使之最小化來尋找最佳匹配點的。上文描述的兩種經典算法就是屬于該方法，采用這種方法的還有：Duffin [4]和Barrett在Szeliski研究的基礎上提出的一種恢復6個參數模型的算法。基于面積方法的缺點就是它的計算量明顯偏大。 （3）基于特征的方法：該方法的主要思想就是從一幅圖像中提取一定的特征，如：點、線、邊緣等等，并用此特征為匹配模板，在第二幅圖像中搜索。該方法可以提高計算速度，但是提取合適的圖像特征比較困難。[5]
如何提取合適的圖像特征，很多學者在這個方面做了探討，其中 Kim[6]等人利用抽取物體輪廓作為特征，而鐘力[7]等人利用重疊圖像兩列象素的亮度（或顏色）比或者亮度（或顏色）作為特征模板，張鵬[8]等人利用象素灰度值信息提取某一矩形區域作為特征模板進行匹配。需要注意的另一個問題就是采集的圖像中重疊部分并不是單純的平面位移變換，還存在伸縮變形等，所以這也增大了特征提取的難度。
4 算法的選擇與改進 以上三種算法都有其自身的特點，當然也有各自的局限性，應該根據全景模型的不同和圖像采集方式的差異選擇合適的算法。下面根據全景圖生成過程詳細描述對算法的選擇和改進。
4.1 全景模型選擇本文提出的方法中采用圓柱模式，這種模式相對簡單，同時又不影響全景圖像瀏覽的真實性。由于立方體模式過于簡單，該模式在展示全景圖時存在明顯的邊界痕跡，降低了全景圖像真實性；球面模式雖然相對擴大了全景圖瀏覽的視野，可是也相應增加了算法復雜度和圖像采集的難度。
4.2 圖像采集為了提高圖像拼接算法的復雜度處理能力以及能夠自適應抖動、光照差、扭曲等。本文對圖像采集方式未做過多限制：不用三角架固定相機，繞攝影者中心360度旋轉相機拍攝圖像，每次拍攝相機旋轉的角度為θ，不固定相機的焦距，這樣做的目的是進一步提高算法自適應校準圖像拼接能力。
4.3 圖像拼接 首先，抽取合適的圖像特征來定位拼接，為了盡可能多的保留圖像的特征，利用數字
圖像處理中的Laplace算子邊緣檢測算法，再加上二值化處理和平滑濾波3*3模板的噪音消除抽取出圖像的特征圖。
圖2 特征提取后圖象的二值化圖圖象經過變換之后，得到了具有重疊相似區域的兩幅圖象，對于相似區域的尋找，一般的算法都是根據人體視覺特征定義1個模板矢量(Pattern Vector)，對兩幅圖象分別運算相似距離，根據相似距離來尋找圖象的相似部分。本文提出了一種新的重疊區域的搜尋方法，它基于差值圖象的極值點搜尋，可以方便地提取兩幅圖象之間的相似部分，不需要頻域上的任何運算。設有兩個矩形區域A和B，已知B中包含一個區域A2，A與A2是相同的模塊，求B中A2 的位置。典型的算法是從Ｂ的左下角起，把每一塊與A大小相同的區域C與A相比較，得出評價函數，其值最小的區域就是A2。評價函數一般定義為:對于A和C中每一對對應點p和q， (1)考慮到兩幅圖象的亮度不一樣，即使是同一模塊，由于亮度不同，評價函數的值也很大，把評價函數定義為：
(2)
4.4 圖像縫合圖像縫合分兩個步驟。拼接處會有明顯的一條縫。可用顏色擬合的方法來調和相鄰圖象的亮度,生成無縫的合成圖象。以合成圖象的拼接線為中心,兩邊各取10個象素點的距離,此區域為矯正區。第一步是圖像經過矩陣投影生成新的圖像需要用到雙性插值。第二步是兩幅圖像重疊區域之間的線性插值。
4.5柱面投影柱面投影變換及其反變換算法的核心是投影變換公式,為此建立坐標系,如圖4所示。原始圖象I、投影柱面圖象J和柱面K,原點為觀察點Ｏ(投影中心)。設柱面半徑為ｒ,投影寬度角為θ,圖象寬度為Ｗ,高度為Ｈ。能很容易得到柱面圖象的寬度為r×sin(θ/2),高度仍為Ｈ。對圖象I上的任意一點Ｐ,假設它在圖象上的坐標為(ｘ,ｙ),P在柱面圖象J上的對應點Q,假設Q在J上的坐標是(ｘ’,ｙ’)。[5]
圖3 柱面投影變換這里θ角由每張圖象所占的角度唯一確定。一個全景的角度是360º那么每張圖象對應的角度就顯而易見了一般的θ角約為30 - 40º。最后，根據兩幅圖像的平移量，柱面投影，最后拼接全景圖（見圖4和圖）。
5 實驗結果基于全景圖的虛擬實景生成系統的實現在是一臺windows NT
操作系統下的pc工作站，P3-1G，128M內存，顯卡(硬件支持OpenGL加速)，使用Microsoft visual c++6.0和OpenGL編程。圖4 圖象拼接前的情況圖5 圖象拼接后的全景圖
6 結論及展望隨著基于圖象繪制技術發展，全景圖現已廣泛應用在軍事、
教育、科研、商業、影視、娛樂、工程訓練等，并隨著JAVA和Internet的發展成為一種快捷、實用、效果很好的虛擬現實漫游系統。本文對基于全景圖的虛擬現實模型進行了比較深入的研究，在根據前人對全景圖的研究
資料中，本文提出了一種基于全景圖的虛擬現實系統模型的構想，并給出了較為實用的解決方案，克服了抖動、光照差、扭曲等對全景圖的影響，對圖象拼接算法作了比較和改進嘗試，對圓柱面投影作了較深入的探討，實用價值高效率。未來基于全景圖的虛擬現實各種技術發展將前景廣闊。
參考文獻[1] Cai Yong, Liu Xue hui, Wu Eng hua. Image-based rendering: A technology for virtual reality system. Journal of Software, 1997, 8 (10): 721- 728 ( in Chinese)(蔡 勇, 劉學慧, 吳恩華. 基于圖像繪制的虛擬現實系統環境.軟件學報, 1997, 8 (10) : 721- 728)[2] Chen S E. Quick time VR ——An image-based approach to virtual environment navigation. In: P roc S IGGRA PH 95, New York, 1995. 29- 38[3] Szeliski R, Shum H-Y. Creating full view panoramic image mosaics and texture-mapped models. In: Proc SIGGRA PH‘97,Los Angeles, California, 1997. 251- 258 [4] Kirk Duffin, William Barrett. Globally Optimal Image Mosaics[C].In: Proceedings Graphics Interface’98,19982:217~222[5] Brown L G. A survey of image registration techniques. ACM Computing Surveys, 1992, 24 (4): 325- 376[6] Min-A Kim, Sung-Soo Kim, Hwan-Gue Cho.Image Mosaicing Technique Using Feature-Based Graph Matching Algorithm[7] 鐘力，張茂軍，孫立峰等
.360 度柱面全景圖象生成算法及其實現[J]. 小型微型計算機系統，1999:20(12):899~903[8] 張鵬，周東翔，郝建新等
.IBR技術中柱面全景圖鑲嵌的快速算法[J].計算機工程，1999;25(12):17~18
【基于全景圖的虛擬現實系統研究】相關文章：
基于虛擬現實技術的船舶輔鍋爐控制系統研究03-02
基于虛擬現實技術的景物仿真03-08
基于虛擬現實技術的物理實驗模擬03-07
基于Asterisk多種接入方式的VoIP系統研究03-07
基于供給鏈的供給商綜合評價系統研究03-24
基于AdHoc網絡的船舶通信終端顯示系統研究12-07
基于工作流的信息管理系統研究03-18
基于虛擬現實技術的自行車漫游系統的研究與實現03-18
基于WebGIS的高速公路緊急救援系統研究03-07