編解碼器（CODEC）是流媒體市場的氧氣！沒有編解碼器，就沒有流媒體。從拍攝視頻到編輯，再到對流媒體文件進行編碼以交付，編解碼器參與了整個過程的每一步。許多視頻制作人也涉足DVD-ROM和藍光市場，以及廣播和編解碼器也在其中發(fā)揮了作用。

盡管您可能知道編解碼器是什么，但您真的知道編解碼器嗎？當然，閱讀本文后，您的狀況將不如您所愿。首先，我們將介紹有關(guān)編解碼器工作原理的基礎(chǔ)知識，然后，我們將研究各種編解碼器所扮演的不同角色。接下來，我們將研究H.264如何成為當今使用最廣泛的視頻編解碼器，并以音頻編解碼器的快速討論作為結(jié)束。 

編解碼器基礎(chǔ)

---

編解碼器是壓縮技術(shù)，具有兩個組件，一個用于壓縮文件的編碼器和一個用于解壓縮的解碼器。有用于數(shù)據(jù)（PKZIP），靜止圖像（JPEG、GIF、PNG），音頻（MP3、AAC）和視頻（Cinepak、MPEG-2、H.264、VP8）的編解碼器。

有兩種編解碼器：無損和有損。諸如PKZIP或PNG之類的無損編解碼器在解壓縮后會復(fù)制與原始文件完全相同的文件。有一些無損的視頻編解碼器，包括Apple Animation 編解碼器和Lagarith編解碼器，但無法將視頻壓縮到足夠低的數(shù)據(jù)速率以進行流傳輸。

與無損編解碼器相比，有損編解碼器在解壓縮時會產(chǎn)生原始文件的傳真，但不會產(chǎn)生原始文件的傳真。有損編解碼器具有一個不變的折衷方案-數(shù)據(jù)速率越低，解壓縮的文件看起來（或聽起來）就越像原始文件。換句話說，壓縮得越多，損失的質(zhì)量就越多。

有損壓縮技術(shù)使用兩種類型的壓縮：幀內(nèi)和幀間壓縮。幀內(nèi)壓縮本質(zhì)上是應(yīng)用于視頻的靜止圖像壓縮，每個幀都在不參考任何其他幀的情況下進行壓縮。例如，Motion-JPEG僅使用幀內(nèi)壓縮，將每個幀編碼為單獨的JPEG圖像。該DV編解碼器還像DVCPRO-HD一樣僅使用幀內(nèi)壓縮，實際上將每個HD幀分為四個SD DV塊，所有這些塊均僅通過幀內(nèi)壓縮進行編碼。

相反，幀間壓縮使用幀之間的冗余來壓縮視頻。例如，在會說話的情況下，大部分背景保持不變。幀間技術(shù)一次存儲靜態(tài)背景信息，然后僅將更改的信息存儲在后續(xù)幀中。幀間壓縮比幀間壓縮要有效得多，因此大多數(shù)編解碼器都經(jīng)過優(yōu)化，可以搜索和利用幀之間的冗余信息。

早期的基于CD-ROM的編解碼器（如Cinepak和Indeo）使用兩種類型的幀進行此操作：關(guān)鍵幀和增量幀。關(guān)鍵幀存儲整個幀，并且僅通過幀內(nèi)壓縮進行壓縮。在編碼期間，將增量幀中的像素與先前幀中的像素進行比較，并刪除了冗余信息。每個增量幀中的剩余數(shù)據(jù)也可以根據(jù)需要使用幀內(nèi)技術(shù)進行壓縮，以滿足文件的目標數(shù)據(jù)速率。 

圖1.基于CD-ROM的編解碼器部署的關(guān)鍵幀和增量幀。

這在圖1中顯示，該圖是左上方顯示的畫家的談話視頻。在視頻過程中，幀中唯一變化的區(qū)域是嘴巴、雪茄和眼睛。四個增量幀僅存儲已更改的像素塊，并在解壓縮期間參考關(guān)鍵幀以獲取冗余信息。

在帶有動畫文件的這種情況下，幀間壓縮將是無損的，因為您可以使用存儲在關(guān)鍵幀和增量幀中的信息來一點一點地重新創(chuàng)建原始動畫。盡管現(xiàn)實世界中的視頻操作并非沒有損失，但它非常高效，這解釋了為什么有聲談話視頻的編碼質(zhì)量要比足球比賽或NASCAR比賽高得多。

長GOP格式

---

自從CD-ROM時代以來，幀間技術(shù)已經(jīng)發(fā)展起來，大多數(shù)編解碼器（包括MPEG-2，H.264和VC-1）現(xiàn)在使用三種幀類型進行壓縮：I幀，B幀和P-框架。I幀與關(guān)鍵幀相同，并且僅使用幀內(nèi)技術(shù)進行壓縮，從而使其成為最大，效率最低的幀類型。

B幀和P幀都是增量幀。P幀是最簡單的，并且可以在任何先前的I幀或P幀中利用冗余信息。B幀更為復(fù)雜，并且可以在任何先前或后續(xù)的I，B或P幀中利用冗余信息。這使得B幀在這三種幀類型中效率最高。

這些多種幀類型存儲在一組圖片或GOP中，該圖片組從每個I幀開始，包括直到但不包括后續(xù)I幀的所有幀。使用所有三種幀類型的編解碼器通常被稱為“長GOP格式”，主要是在非線性編輯系統(tǒng)中使用編解碼器時。這突出了有損壓縮技術(shù)的第二個基本折衷：解碼復(fù)雜度的質(zhì)量。也就是說，編解碼器提供的質(zhì)量越高，解碼的難度就越大，尤其是在諸如視頻編輯之類的交互式應(yīng)用程序中。

非線性編輯系統(tǒng)中使用的第一個long-GOP格式是HDV，這是一種基于MPEG-2的格式，請想象一下這種方法帶來的復(fù)雜性。例如，使用DV和Motion-JPEG，每個幀都是完全自參考的，因此您可以將編輯播放頭拖動到視頻中的任何幀，并且可以實時解壓縮。

但是，對于基于MPEG-2的HDV，如果將播放頭拖動到B幀，則非線性編輯器將必須解壓縮該B幀引用的所有幀，并且這些幀可以位于該B之前或之后時間軸中的幀。在當今功能不足的計算機系統(tǒng)上，大多數(shù)使用只能處理2GB內(nèi)存的32位操作系統(tǒng)，長GOP格式會導(dǎo)致大量延遲，從而使編輯無響應(yīng)。

隨著攝錄機越來越依賴諸如MPEG-2和H.264之類的長GOP格式存儲數(shù)據(jù)，一種新型的編解碼器（通常稱為中間編解碼器）出現(xiàn)了。這些包括Cineform，Inc.的Cineform，Apple ProRes和Avid DNxHD。這些編解碼器僅使用幀內(nèi)壓縮技術(shù)來獲得最大的編輯響應(yīng)速度，并使用很高的數(shù)據(jù)速率來保持質(zhì)量。

功能特定的編解碼器

---

這些中間編解碼器強調(diào)了一個事實，盡管存在一些交叉，但通過其功能識別編解碼器非常有用，其中包括以下類：

攝錄機中使用的采集編解碼器

其中包括DV和DVCPROHD中使用的Motion-JPEG，索尼XDCAM HD和HDV中使用的MPEG-2，以及AVCHD中使用的H.264，以及許多數(shù)字SLR相機。編解碼器的作用是在滿足機載存儲機制的數(shù)據(jù)速率要求的同時，以盡可能高的質(zhì)量進行捕獲。

如上所述，中間編解碼器主要在編輯過程中使用

如前所述，在這個角色中，這些編解碼器旨在優(yōu)化編輯響應(yīng)度和質(zhì)量。

交付編解碼器

這些包括用于DVD，廣播和衛(wèi)星的MPEG-2，用于藍光的MPEG-2，VC-1和H.264，以及用于流傳輸?shù)腍.264，VP6，WMV，WebM和多種其他格式。在此角色下，編解碼器必須與交付平臺規(guī)定的數(shù)據(jù)速率相匹配，在流傳輸?shù)那闆r下，該數(shù)據(jù)速率遠低于用于采集的速率。

編解碼器和容器格式

---

將編解碼器與容器格式區(qū)分開來很重要，盡管有時它們使用相同的名稱。簡而言之，容器格式或包裝器是一種文件格式，可以包含特定類型的數(shù)據(jù)，包括音頻，視頻，隱藏式字幕文本以及關(guān)聯(lián)的元數(shù)據(jù)。盡管有一些通用的容器格式，例如QuickTime，但是大多數(shù)容器格式都針對生產(chǎn)和分發(fā)管道的一個方面，例如MXF用于在便攜式攝像機上進行基于文件的捕獲，F(xiàn)LV和WebM用于流式處理Flash和WebM內(nèi)容。

在某些情況下，容器格式具有單個或主要編解碼器，例如Windows Media Video和WMV容器格式。但是，大多數(shù)容器格式可以輸入多個編解碼器。QuickTime的用途可能最廣泛，一些攝錄機以QuickTime容器格式捕獲MPEG-2 / H.264視頻，并且在iTunes上以MOV擴展名分發(fā)了許多視頻。

潛在的混亂領(lǐng)域涉及MPEG-4，它既是容器格式（MPEG-4第1部分）又是編解碼器（MPEG-4第2部分）。從技術(shù)上講，至少從ISO角度而言，H.264還是MPEG-4編解碼器（MPEG-4第10部分），它已在很大程度上取代了MPEG-4編解碼器的使用。作為一種容器格式，MP4文件可以包含使用MPEG-2，MPEG-4，VC-1，H.263和H.264編解碼器編碼的視頻。

但是，用VC-1編碼MP4文件，QuickTime Player或任何iOS設(shè)備都將無法播放該文件。因此，在制作要分發(fā)的文件時，選擇與目標查看器的播放功能兼容的編解碼器和容器格式至關(guān)重要。

多數(shù)道路通向H.264

---

從歷史上看，視頻編解碼器已經(jīng)在多個獨立的路徑上發(fā)展了，有趣的是，這些路徑中的大多數(shù)都導(dǎo)致了H.264，這就是為什么編解碼器在今天如此蓬勃發(fā)展的原因。一種途徑是通過國際標準組織，該組織的標準影響攝影，計算機和消費電子市場。ISO于1993年發(fā)布了第一個視頻標準，即MPEG-1，隨后是1994年的MPEG-2、1999年的MPEG-4和2002年的AVC / H.264。

下一步是通過國際電信聯(lián)盟，它是聯(lián)合國負責(zé)信息和通信技術(shù)問題的主要機構(gòu)，并為電話，廣播和電視市場的標準做出了貢獻。國際電聯(lián)于1984年首次發(fā)布了與視頻會議相關(guān)的第一標準，其中H.261于1990年推出，H.262于1994年推出，H.263于1995年推出，H.264與ISO共同開發(fā)，在2002年。

如我們所見，數(shù)碼攝像機最初使用DV編解碼器，然后過渡到MPEG-2，而MPEG-2仍然占有很大份額。AVCHD是基于H.264的格式，使用此格式的專業(yè)攝錄機越來越受歡迎，而使用基于H.264的AVC-Intra格式的攝錄機也在日益普及。H.264完全擁有像佳能7D這樣的數(shù)碼單反相機市場，幾乎所有便攜式攝像機都在其中使用H.264。

在交付方面，盡管大多數(shù)有線電視廣播仍然是基于MPEG-2的，但是H.264在CATV中獲得了發(fā)展，并已廣泛用于衛(wèi)星廣播中。流媒體市場首先由專有編解碼器控制，最初是RealNetwork的RealVideo，然后是Microsoft的Windows Media Video，然后是On2的VP6，而Sorenson Video 3是主要的QuickTime編解碼器。2002年，Apple的QuickTime 6首次推出了MPEG-4支持，并于2005年在QuickTime 7中添加了H.264。同年，發(fā)布了首款具有視頻功能的iPod，同時也支持H.264（和MPEG-4）。2007年，Adobe在Flash中增加了對H.264的支持，隨后在2008年又增加了Microsoft Silverlight的支持。

H.264不獨占主導(dǎo)的市場是中間編解碼器市場，該市場不適用于長GOP格式。否則，幾乎所有其他市場（從iPod到衛(wèi)星電視）都主要由H.264編解碼器驅(qū)動。

音頻編解碼器

---

最后，由于大多數(shù)視頻也是用音頻捕獲的，因此音頻組件也必須得到解決。用于采集和編輯的最廣泛使用的音頻格式是PCM，它表示脈沖編碼調(diào)制，在Windows上通常以WAV或AVI格式存儲，在Mac上通常以AIFF或MOV格式存儲。PCM被認為是未壓縮的，因此可以更恰當?shù)貙⑵浔碚鳛槲募袷?，而不是編解碼器。為了保持質(zhì)量，大多數(shù)中間編解碼器僅通過便攜式攝像機傳遞的未壓縮音頻。

大多數(shù)傳送格式都有相關(guān)的有損音頻編解碼器，例如MPEG音頻和DVD上的AC-3杜比數(shù)字壓縮。大多數(shù)早期的流技術(shù)，例如RealVideo和Windows Media，都具有專有的音頻組件，因此RealAudio隨RealVideo文件一起提供，Windows Media Audio和Windows Media Video也是如此。

當Adobe將VP6編解碼器與MP3音頻編解碼器配對以進行Flash分發(fā)時，這種動態(tài)變化最為明顯。用于H.264視頻的基于標準的音頻編解碼器是高級音頻編碼（AAC）編解碼器，而WebM將VP8編解碼器與開源Vorbis編解碼器配對。

為什么編解碼器對您很重要

---

在線視頻制作和發(fā)行的所有階段都涉及編解碼器，因此了解它們的操作及其各自的作用非常重要。

研尚科技可提供的部分產(chǎn)品列表

• 音頻編解碼器： Codec、 ADC、 DAC、 音頻功放、 硅麥、 耳放

• 射頻器件： 定位芯片、 定位模塊、 LNA、 無線射頻芯片、 NFC

• 電源轉(zhuǎn)換： 升壓芯片、 降壓芯片、 LDO、 背光驅(qū)動

• 電源管理： 鋰電池充電管理、 鋰電池保護、 QC快充協(xié)議、 OVP/OCP、 電壓檢測、 復(fù)位芯片、 PMU、 顯示屏電源芯片、 MOSFET、 ESD

• 存儲器： SDRAM、 DDR、 Flash、 EEPROM

• 馬達驅(qū)動： 步進電機/無刷&有刷

• MCU微控制器： MCU、 指紋芯片、 加密芯片

• 無線通信： 5G&4G通訊模組、 NB-IoT模組

• 其它芯片： 運算放大器、 OSD