概述
H.264(AVC)從2003年5月草稿發布以來，憑借其相對于以往的視頻壓縮標準在壓縮效率以及網絡適應性方面的明顯優勢，逐步成為視頻應用領域的主流標準。根據 MeFeedia的數據，由于iPad 以及其它新興設備大多支持H.264 硬件加速，至2011年底，80%的視頻使用H.264編碼，并且隨著支持H.264解碼的設備不斷增多，這一占有率還將進一步增長。
但是，隨著數字視頻應用產業鏈的快速發展，視頻應用向以下幾個方向發展的趨勢愈加明顯：
- 高清晰度（Higher Definition）：數字視頻的應用格式從720 P向1080 P全面升級，在一些視頻應用領域甚至出現了4K x 2K、8K x 4K的數字視頻格式；
- 高幀率(Higher frame rate )：數字視頻幀率從30 fps向60fps、120fps甚至240fps的應用場景升級；
- 高壓縮率(Higher Compression rate )：傳輸帶寬和存儲空間一直是視頻應用中最為關鍵的資源，因此，在有限的空間和管道中獲得最佳的視頻體驗一直是用戶的不懈追求。
由于數字視頻應用在發展中面臨上述趨勢，如果繼續采用H.264編碼就出現的如下一些局限性：
- 宏塊個數的爆發式增長，會導致用于編碼宏塊的預測模式、運動矢量、參考幀索引和量化級等宏塊級參數信息所占用的碼字過多，用于編碼殘差部分的碼字明顯減少。
- 由于分辨率的大大增加，單個宏塊所表示的圖像內容的信息大大減少，這將導致相鄰的4 x 4或8 x 8塊變換后的低頻系數相似程度也大大提高，導致出現大量的冗余。
- 由于分辨率的大大增加，表示同一個運動的運動矢量的幅值將大大增加，H.264中采用一個運動矢量預測值，對運動矢量差編碼使用的是哥倫布指數編碼，該編碼方式的特點是數值越小使用的比特數越少。因此，隨著運動矢量幅值的大幅增加，H.264中用來對運動矢量進行預測以及編碼的方法壓縮率將逐漸降低。
- H.264的一些關鍵算法例如采用CAVLC和CABAC兩種基于上下文的熵編碼方法、deblock濾波等都要求串行編碼，并行度比較低。針對GPU/DSP/FPGA/ASIC等并行化程度非常高的CPU，H.264的這種串行化處理越來越成為制約運算性能的瓶頸。
為了面對以上發展趨勢，2010年1月，ITU-T VCEG(Video Coding Experts Group) 和ISO/IEC MPEG(Moving Picture Experts Group)聯合成立JCT-VC(Joint Collaborative Team on Video Coding)了聯合組織，統一制定下一代編碼標準：HEVC(High Efficiency Video Coding)。
HEVC協議標準計劃于2013年2月份正式在業界發布，目前整個框架結構已基本確定。截至2012年4月份，JCT-VC聯合工作組已經召開了第八次會議，并于2012年2月17日發布了第一版內部草稿《High efficiency video coding (HEVC) text specification draft 6》，計劃2012年7月發布第一版公開版草稿，在H.264標準2～4倍的復雜度基礎上，將壓縮效率提升一倍以上。
下表列出了HM4.0(HEVC參考代碼)相對于JM18.0 BD-Rate對比：
表1 HEVC相對于H.264的壓縮效率提升數據列表
由表中數據可見，在Low Delay的情況下，HEVC(HM4.0)相對于H.264比特率平均下降44%。
HEVC(H.265)的技術亮點
作為新一代視頻編碼標準，HEVC(H.265)仍然屬于預測加變換的混合編碼框架。然而，相對于H.264，H.265 在很多方面有了革命性的變化。HEVC(H.265)的技術亮點有：
靈活的編碼結構
在H.265中，將宏塊的大小從H.264的16x16擴展到了64x64，以便于高分辨率視頻的壓縮。同時，采用了更加靈活的編碼結構來提高編碼效率，包括編碼單元(Coding Unit)、預測單元(Predict Unit)和變換單元(Transform Unit)。如圖1所示：
圖1 編碼單元(CU)、預測單元(PU)、變換單元(CU)
其中編碼單元類似于H.264/AVC中的宏塊的概念，用于編碼的過程，預測單元是進行預測的基本單元，變換單元是進行變換和量化的基本單元。這三個單元的分離，使得變換、預測和編碼各個處理環節更加靈活，也有利于各環節的劃分更加符合視頻圖像的紋理特征，有利于各個單元更優化的完成各自的功能。
靈活的塊結構----RQT(Residual Quad-tree Transform)
RQT是一種自適應的變換技術，這種思想是對H.264/AVC中ABT(Adaptive Block-size Transform)技術的延伸和擴展。對于幀間編碼來說，它允許變換塊的大小根據運動補償塊的大小進行自適應的調整；對于幀內編碼來說，它允許變換塊的大小根據幀內預測殘差的特性進行自適應的調整。大塊的變換相對于小塊的變換，一方面能夠提供更好的能量集中效果，并能在量化后保存更多的圖像細節，但是另一方面在量化后卻會帶來更多的振鈴效應。因此，根據當前塊信號的特性，自適應的選擇變換塊大小，如圖2所示，可以得到能量集中、細節保留程度以及圖像的振鈴效應三者最優的折中。
圖2 靈活的塊結構示意圖
采樣點自適應偏移(Sample Adaptive Offset)
SAO在編解碼環路內，位于Deblock之后，通過對重建圖像的分類，對每一類圖像像素值加減一個偏移，達到減少失真的目的，從而提高壓縮率，減少碼流。
采用SAO后，平均可以減少2%~6%的碼流,而編碼器和解碼器的性能消耗僅僅增加了約2%。
自適應環路濾波(Adaptive Loop Filter)
ALF在編解碼環路內，位于Deblock和SAO之后，用于恢復重建圖像以達到重建圖像與原始圖像之間的均方差(MSE)最小。ALF的系數是在幀級計算和傳輸的，可以整幀應用ALF，也可以對于基于塊或基于量化樹(quadtree)的部分區域進行ALF，如果是基于部分區域的ALF，還必須傳遞指示區域信息的附加信息。
