針對硬件實現的H.264視頻編碼算法改進
摘要：從硬件實現的角度分析了H.264算法，重點研究了占用最多運算時間的預測部分的優化，給出了對幀內預測、哈達馬變換以及運動估計算法的改進，通過簡化運算復雜、效率不高的模塊以及減少模塊間數據相關性等，對硬件進行優化。通過對各種測試序列的仿真，證明改進是有效的。H.264[1]最初是由ITU-T起草的，在未來將成為ITU-T和MPEG的聯合標準。H.264因為提供了很高的編碼壓縮效率、友好的面向網絡的接口，將成為下一代新的視頻編碼標準。但是編碼效率很高的同時，其算法的復雜度也提高了四倍，這在很大程序上限制了它的實現。因此，必須針對硬件的實現做改進和優化。
H.264的最初測試模型（JM）[2]是為了取得高的編碼效果而設計的。在這個測試模型中，有很多的算法需要很大的運算量，但是編碼效率的提高卻不多，并且很多模擬之間是數據相關的，這一點限制了用并行處理加速硬件的實現。
以前有文章分析過這種新的視頻編碼的復雜度[3～5]。但是這些研究都是通過軟件的分析得到H.264算法的復雜度的。這些結果對在軟件中的應用是精確的，但是當涉及硬件設計的并行處理時，就不再適用了。
經過試驗比較可以得出，在H.264硬件實現上的關鍵點是預測部分，因為此模塊所占的計算時間幾乎是總時間的90%。所以改進的重點在預測部分。
1 H.264算法
圖1是關于一幀圖像的幀內預測間預測的算法框圖。如果采用幀內預測，幀間預測部分將不進行判斷。在進行幀間預測時，會使用多幀預測和可變塊大小的運動估計。編碼模式選擇部分在所有的預測模式中選擇一個最佳的預測模式。
預測之后用原始的輸入幀和預測幀相減，得到殘差數據塊。對于亮度殘差塊做4×4整數DCT變換，對于色度殘差塊的DC系數則進行2×2的整數DCT變換。對變換后的系數做掃描和量化處理后，再對量化后的系數進行熵編碼，最終成為輸出的碼流。編碼模式通過模式表，也會輸入到熵編碼器中。重建的循環過程包括反量化、反DCT變換和反塊濾波。最后，將重建幀寫入到幀緩沖器中，準備在以后運動估計中使用。
因為在空間預測和時間預測上幾乎花費了所有的計算能力，所以在JM 4.0上的算法改進主要是在這兩部分上。在實現過程中，這兩部分通過硬件實現，所以要針對硬件進行優化。
實現編碼器所用的硬件系統是基于宏塊，也就是說編碼器是對一個個連續的宏塊進行操作。整個編碼系統可以看作一個宏塊的流水線，所以有可能在開始編碼下一個宏塊時，上一個宏塊重建過程不定期沒有完成，這就影響了流水線的進行。很多基于宏塊的商業編碼器正是采用這種硬件實現模式，所以處理好這個問題至關重要。
2 幀內預測
圖1中的編碼方框圖與H.261、H.263和MPEG-4中的相似。H.264中包含了4×4和16×16兩種幀內預測部分。幀內預測需要圖像重建的像素值才能實現。在一個典型的基于宏塊的系統中，只有在完成整個編碼程序后，重建的像素值才能得到。這種數據之間的相關性，會給硬件的實現帶來很大的困難。
2.1 4×4幀內預測
圖2描述了4×4塊幀內預測中數據的相關性。從a到p的像素值是從A到N及Q的像素值預測出來的。用大寫字母表示重建的像素值。因為一個宏塊由16個4×4的塊組成，所以當前塊沒有完成編碼之前是不能得到重建的像素值的。在JM中用了雙通道算法實現這些塊的編碼。為了做一個4×4塊的預測，在JM中需要進行變換、量化、反變換到反量化的過程。這對于一個硬件來說太復雜了。在現有的硬件水平上是不可能實現的。
對這一點，需要對算法做如下改進：所有預測中所有的重建幀像素值用輸入幀的原始值代替。通過這樣的改進，4×4的幀內預測和變換可以在宏塊的流水線上順利地實現。
2.2 16×16幀內預測
圖3給出了16×16幀內預測的數據相關性。當前宏塊的預測是基于重建幀中位于當前宏塊位置上方的17個像素和左側的16個像素的。因為對當前宏塊進行預測時左邊宏塊的重建可能并未完全完成，當用到當前宏塊位置左側的那些像素時就用原始像素代替。
2.3 編碼模式選擇
按照前面所給出的改進算法，如果只是簡單地用原始像素代替重建像素的話會造成編碼模式選擇的誤差。圖4給出了幀內編碼的率失真改進的曲線，仿真的序列是“Claire”、10fps。從圖4中可以看出，由編碼模式選擇的誤差引起的PSNR下降是很明顯的。原始像素是屬于同一幀的，而重建像素經過幀間或幀內編碼去除了冗余度，所以與重建像素相比原始像素有更高的相關性。因而用改進后的幀內預測算法產生的誤差要比用原算法大得多。為了減少編碼模式選擇的誤差，還需要對誤差代價函數（error cost function）進行修改。現在的做法是增加一個誤差項。這個誤差項體現原始像素和重建像素之間的差值。因為量化參數（QP）能夠影響原始像素和重建像素之間的不匹配，所以誤差項的確定與量化參數值有關。在H.264中，隨著量化參數的線性增加，量化對編碼的影響是呈指數增加的。為了符合這種影響的增長趨勢，誤差項的基本形式確定了a/b(51-Qp)，其中a和b是待定系數。如何確定a和b是影響誤差消除的關鍵。
在H.264中，每級Qp的增量是12%，所以理論上與之相匹配的參數b應該設置為1.12。但是誤差代價函數的計算是在哈達碼變換
【針對硬件實現的H.264視頻編碼算法改進】相關文章：
基于塊分類的H.264視頻水印算法03-07
DM642上H.264編碼器的優化與實現11-22
Tunstall編碼與自適應編碼算法03-07
H.264碼率控制算法研究03-07
動態哈夫曼編碼的改進03-18
圖像拼接算法及實現03-03
自適應算術編碼的FPGA實現03-18
關于LZW算法的改進研究03-25