隨著信息時代的到來，世界發(fā)生了驚人的變化。最新的思科(Cisco)公司視覺網絡指數(VNI)顯示，人們對多信息源(流媒體)的需求迅速增長。思科估計，到2016年，互聯(lián)網協(xié)議(IP)數據傳輸流量的復合年增長率為29%。
所有這些需求都匯集到安放在大量低成本電源附近的服務器群。這種增長速度難倒了眾多的服務提供商(Google等信息提供商及將這些信息帶到電腦或手機的提供商)。人們需要更大的數據傳輸通道，而要滿足這種需求，卻面臨著眾多挑戰(zhàn)。
速度更快
自萬維網普及以來，對于速度的需求就一直困擾著通信行業(yè)。在1983年左右，隨著10Mb(同軸半雙工CSMA/CD)以太網的出現，計算機開始相互連接到一起。局域網(LAN)和廣域網(WAN)的節(jié)點數增加到一定程度以后，骨干網聚合便成了問題。
光纖傳輸的突破及波分復用技術的實現大大提高了現代互聯(lián)網的傳輸速度。但是，大多數家庭接入互聯(lián)網使用的傳統(tǒng)雙絞線很快便達到了其香農極限。撥號用調制解調器和DSL速度已達極限。盡管節(jié)點(用戶)數仍在持續(xù)穩(wěn)步增長，但信息傳輸容量需求的增長卻受到了限制。
當人們開始應用混合光纖/同軸系統(tǒng)以便通過數字機頂盒提供HDTV(高清電視)時，超大帶寬也達到了極限。有線電纜數據服務接口規(guī)范(DOCSIS)電纜調制解調器的發(fā)展，實現了每秒數兆位的傳輸速度，消費者紛紛開始要求使用這種技術。
DOCSIS調制解調器和光纖到戶(FTTH)成為推動互聯(lián)網不斷發(fā)展的催化劑。智能手機和長期演進(LTE)無線網絡的出現再一次為消費者拓展了帶寬，使他們不再受線纜的束縛。但是，智能手機供應商忽略了一些基本的東西：消費者將如何使用他們的上網手機。
供應商簡單地認為，人們偶爾會需要定位，查看聯(lián)系人電話號碼，或者執(zhí)行其他一些要求互聯(lián)網提供服務的小任務。當人們開始使用手機在網上“沖浪”時，這些供應商完全不知所措。他們的下行網絡完全超負荷運行，因此，他們開始提供一些“套餐”，旨在限制數據服務消費——至少現在是這樣一種情況。
在源頭解決所有問題
連接的節(jié)點越多，速度越快，需要的網絡容量和信息服務提供商運營能力也就越高。這不斷推動著對互聯(lián)速度需求的增長。有意思的是，大多數數據中心的IP數據傳輸(例如：亞馬遜和Google等)都在數據中心內部的計算機之間完成，而并未通過網絡連接的客戶端之間。
在網購時，點擊“購買”按鈕之后，在兩臺服務器之間便開始進行大量的事務處理，以驗證用戶身份和支付方式，確認距離最近的發(fā)貨倉庫，記錄所有資金交易情況，收集買家統(tǒng)計數據，以及執(zhí)行其他相關任務。完成所有這些事務所需的時間越長，消費者等待訂單確認的時間也就越長。
在線進行股票交易、游戲、銀行轉賬和其他電子商務時原理相同。這種“多事務”數據傳輸和大量交易請求推動局域網互聯(lián)速度從每通道10Gb/s提高至25Gb/s。
大多數現代數據中心都使用小型可插拔(SFP)或者四通道SFP(QSFP)連接來實現10Gb以太網。這些連接方法可以使用光纖或者特殊的高性能銅線，具體取決于要求的傳輸距離。但是，由于許多設備廠商為了增加相同空間的容量而不斷增加端口密度，出現了許多問題。
一個問題是，在設備冷卻系統(tǒng)的散熱口放置大量的光纖模塊，并且相互靠近。單個光纖模塊的功耗一般為1W。將這些模塊(例如一個48端口的10Gb/s交換機)相互靠近放置，從設備排出的氣體溫度又很高，這會縮短光纖模塊的壽命并且存在安全隱患。
數據中心管理員將注意力轉向了無源線纜，這種線纜有望降低功耗和光纖模塊的成本。最近，連接距離小于15米的情況，開始使用集成了半導體線性均衡器和轉接驅動器的“有源”線纜，以調節(jié)信號和提高信號完整性。有源線纜可以匹配較短的互聯(lián)，允許使用與光纖芯徑差不多大小的小規(guī)格標準線，而且功耗和成本都更低。
另外，這些管理員還可以使用具有多種功能的“智能線纜”，這些功能包括時域反射計(TDR)和眼圖監(jiān)視器等，可以持續(xù)管理連接的完整性。SFP和QSFP規(guī)范通過連接器上的一個兩引腳串聯(lián)管理端口實現這種通信。這種設備可以識別線纜類型及其性能，從而讓系統(tǒng)設計人員能夠將這些功能集成到管理系統(tǒng)中。
得更遠
有趣的是，標準一旦被制定出來，就會存在相當長的時間。據傳，現代英國鐵路軌距可能直接源自羅馬帝國二輪戰(zhàn)車的輪距。這個問題無需再深入討論。影響數據中心的標準包括基礎設施內的機架尺寸和間隔。典型機架為19英寸寬，42英寸長，7英尺高。這一標準已沿用了許多年。在某些行業(yè)，機架寬23英寸，目的是為了適用于電信交換機設備等應用。即使CMOS尺寸縮小帶來了更高密度的集成，這些機架的體積也沒有相應縮小。實際上，由于功耗和布線要求更高，它們的體積反而在不斷增加。最近，開放運算項目針對一種被稱為“開放式機架”(21英寸寬)的新標準制定了一些計劃。不僅寬度增加，機架也變得更高。一些機架的高度甚至要達到9英尺，以最大化服務器密度。
隨著機架尺寸的增加，與設備內部電子器件相關的連接器布局也要調整。同時，CMOS密度的增加，讓硅制造廠商可以將原來安裝在外部的物理層(PHY)器件集成到內核交換ASIC并靠近連接器。這種情況會產生兩個結果：外部連接器和電子器件之間的距離增加；連接數據速率提高。這將對設計的信號完整性產生極大的影響。在許多情況下，它要求增加有源器件，對數據進行恢復和重新計時，以達到連接器的規(guī)范(圖1)?，F在，10Gbps傳輸線路受到高抖動問題的困擾，同時面臨最初四通道(x4)2.5Gbps版信號的衰減問題。
圖1：高速互連的發(fā)展。
對10Gbps以太網以及存儲和計算來說，這就成了問題。第3版PCI Express(PCIe)等標準將通道帶寬從500Mbps增加至1Gbps。通過更加高效的編碼，并將傳輸速率從5Gbps增加至8Gbps，便可以達到這個目標。更高的傳輸速率會帶來相同傳輸距離連接器規(guī)范不達標的問題，而在這一距離，使用FR4無源傳輸線時，PCIe 2.0卻可以工作得很好。在許多情況下，面臨的問題是使用更獨特的PCB材料，還是有源平衡器/轉接驅動器，以電學方式縮短傳輸線路。這可沒有它看起來那么簡單，因為PCIe標準使用帶外(OOB)信號傳輸，在根組件和PCIe節(jié)點之間建立起一個有效鏈路。半導體廠商一般會提供允許這種標準在更長距離工作的硅組件。PCIe 4.0規(guī)范使用16Gbps通道。在機架式服務器和設備尺寸不斷增大的情況下，要想達到這種標準實現通用性將變得越來越困難。
存儲接口標準也做了同樣的修訂。在企業(yè)存儲世界，標準是串行連接SCSI(SAS)，它是小型計算機系統(tǒng)接口(SCSI)的串行版本。SAS-2.0規(guī)范使用6Gbps通道，利用精密細致的FR4 PCB布局方法和高性能連接器可以讓它再次發(fā)揮作用。SAS-3.0使用12Gbps通道，并面臨與其它高速標準相同的信號完整性問題?，F在，使用連接器和線纜將某個驅動器連接至系統(tǒng)使得這個問題變得錯綜復雜。線纜廠商現在正推出一種新的高性能連接器(小型SAS HD)和介電材料，以應對信號完整性降低問題。但是，要解決這個問題卻并不容易，因為系統(tǒng)中驅動器可能會移動到更遠的地方，這就要求使用更長的連接器。
功耗原則
正如前文所述，功耗是運營商和設備廠商共同關心的主要問題。即使用于設計高性能通信設備的大多數ASIC都是CMOS，但相比一些老型號產品，更新(更快)的設備實際功耗也更高。另外，有意思的是，盡管晶體管幾何尺寸不斷縮小并且越來越高效，但是電路設計人員卻利用這種小體積優(yōu)勢將更多的晶體管封裝到這些器件中。CMOS電路的功耗與時鐘頻率比例關系，因此，盡管每個晶體管的功效越來越高，但是它們的時鐘頻率卻比早期產品快了數倍。
這種發(fā)展趨勢仍將持續(xù)，并在一定程度上推動機架空間變得越來越大，從而實現更好的空氣流動和更優(yōu)的線纜管理。電線管理的改進可讓設備的連接器具有更好的空間間隔，從而使其本身的互連不妨礙設備風扇排出的氣流。但是，連接器密度遲早會擴展到填滿所有有效空間的程度。
超越10Gb/s
在一些現代的數據中心，大多數互連均為銅纜或者光纖的10Gbps以太網。這些通道均為單(SFP+)通道或者分組四通道(QSFP)。不管是哪種情況，這些線纜都為全雙工。今天的一些標準傳輸速度都超過了10Gbps以太網。一種是光纖通道，現在的速度已經達到16Gbps(另外還有20Gbps標準)。互聯(lián)網協(xié)議(IP)等協(xié)議標準都可以映射FC數據包，并允許使用光纖和銅纜實現更高速的互連。
就以太網而言，使用多條10Gbps通道進行數據傳輸可以實現更高的總帶寬，但要達到100Gbps，需要使用10條通道。100Gbps以太網光纖模塊利用一個超高速的10:4/4:10串行器/解串器(SerDes)將10通道的10Gbps數據轉換為4個25Gbps流。這4個數據流饋送給使用波分復用(WDM)方案配置的4條不同顏色的激光。SerDes較為昂貴并且功耗很高，而10條通道又會占用連接器空間。下一代產品將使用25Gbps，直接向光纖模塊傳送數據。這種方法無需使用SerDes，并且連接器占用空間非常小。
數據傳輸能耗指標
過去，我們可以說某個系統(tǒng)以“X”bps的速度將一些比特從“A”點移至“B”點。但在服務器群有10,000臺服務器和千兆存儲以后，我們就不能這么說了。今天，設備按照其傳輸信息時的無誤差(BER>10-12)和高效程度來分級。因此引起了一場有關信息傳輸效率的競賽——誰的功耗最低，誰就是獲勝者。企業(yè)運營商關心的是服務器性能和數據傳輸速度以及系統(tǒng)的能耗。設備運行所需的所有能量以廢熱的形式存在，因此需要將這種廢熱排出去，而這個過程又會消耗更多的能量。
這種方式來看數據傳輸可能過于簡單，但是，不管是用于驅動某條數據通道的集成電路，還是一個每秒數Gb的高性能交換機，任何解決方案的性能計算都應包括功耗。這種衡量指標很像以“納公頃/兩周”為單位表示的硅生產率。從大的方面看，它是對目標本質的簡化和概括。在系統(tǒng)周圍，使用最少的能源，以最快的速度，實現數據傳輸。
以下方程式表示了效率分類指標
其中，P為功率(瓦特)，REF為無誤差通道速率(比特/秒)，D為距離(米)。它可以簡化為焦耳每比特米(J/b?m)，也就是1秒無誤差時將1比特數據傳輸1米所需要的功耗，或者無誤差條件下，1比特數據移動1米所消耗的能量。它對各種媒介和編碼進行了標準化，并允許使用并排比較技術。
100+ Gbps挑戰(zhàn)
由于我們已經介紹過一種比較各種通信技術的方法，我們將直接討論數據速率超過100Gbps以后的相關問題。100Gbps數據傳輸媒介有兩種可供選擇：光纖和銅線。后一種受限于集膚效應和介電損耗，近遠端串擾以及許多其他影響比特誤碼率的現象。光纖傳輸過于復雜，并且要求大量功耗，用于將數條電信號轉換為通過光纖傳輸的一個或者多個經過調制的激光束，然后再由激光束轉換回電信號(圖2)。
圖2：100Gbps CFP光纖模塊與QSFP有源線纜對比。
半導體行業(yè)的主要進展是硅工藝，此外構架方面也獲得了一定程度的改進。一些供應商(例如TI)開始使用新的超高性能硅鍺工藝實現超低功耗和高成本效益。使用SiGe時，相比CMOS實現方法，驅動器中的發(fā)射振幅更高，因而擁有更高的信號完整性。這些工藝結合了新的時鐘恢復和前饋均衡技術，可以輕松達到每通道25+ Gbps。下一代設備有望擁有這一數據速率，并計劃于2013底上市銷售。
對比現有100Gbps通道的傳輸效率，驅動遠距離傳輸時光纖模塊擁有明顯優(yōu)勢。但是，當涉及企業(yè)內部10米以下的數據傳輸時，現在所使用的銅纜再次閃耀出它的光芒。1米標準時，光纖無誤差傳輸1比特的能耗大概為80微微焦耳(使用100Gbps CFP，每端的功耗為4W)，而銅纜傳輸1比特的能耗僅為20微微焦耳(使用100 Gbps QSFP，線纜每端的功耗為600mW)。以25Gbps運行的4條原生通道，使用設備對設備(box-to-box)配置時，能耗更低。令人吃驚的是，企業(yè)環(huán)境的大多數互連距離都小于1米。
超越100Gb/s
通過基板和線纜傳輸串行化比特的傳統(tǒng)方法大多包含非歸零(NRZ)二進制編碼和誤差編碼(例如8b/10b)。但是，使用可變長度CAT5/6 UTP線纜的以太網標準(例如1Gbase-T)除外。這種標準的復雜度要求極高，原因是所用導線的帶寬有限(<350MHz)，并且通道損耗存在不確定性。為了彌補這些不足，標準采用了多層符號編碼、位交錯、前向糾錯、回波消除和大量的其他技術，并與動態(tài)鏈路訓練結合，以建立最快的無誤差連接。所有這些導致其功耗高于NRZ版本，但在這些情況下，也很難找出一種更好的替代方法。
如果行業(yè)把銅線的數據連接速度推高至25Gbps以上，那么問題是，雙層(二進制)NRZ編碼還會存在嗎？即使現在，還有人會說應該放開對25Gbps數據速率的限制。Intel公司建議在企業(yè)內部和基層之間也都使用多層編碼。由于符號編碼比特密度更高，這樣可以實現高數據速率，但是能耗也肯定會增高。在今天的市場上，Broadcom和其他公司提供的10Gbase-T解決方案復雜程度也有不斷增加的趨勢。正如其以前的一些產品，這些器件利用多層信號傳輸，通過符號編碼增加比特密度。利用多條通道(一條CAT7線纜4對)，該標準可支持約500MHz有限通道帶寬的情況下10Gbps數據傳輸速率。那么，隨著這個行業(yè)向40Gbps通道發(fā)展，多層方案會代替二進制編碼嗎？可能會，但是二進制NRZ成熟易懂。市場上有大量的NRZ誤碼率測試儀及完善的基礎設施。另外，還有發(fā)射器和接收器復雜性問題。即使CMOS幾何尺寸減小至40nm標準以下，功耗和成本都是需要解決的問題。
本文小結
考慮到未來4年市場所需要的器件絕對數量，思科VNI的預測數據相當令人激動。同時，它也為有線和無線基礎設施供應商以及提供媒體和信息的數據服務器帶來了一些問題。所有這些共同推動了企業(yè)和基礎設施使用更高的互連速度。25Gbps可能會馬上到來，然后迅速向40Gbps進發(fā)，并會使用先進的NRZ或者多層技術，確保實現無誤差數據通信。但是，當行業(yè)把連接速度從100Gbps再次推高至250Gbps甚至更高時，又會出現哪些標準，并在激烈的市場競爭中勝出呢？
