從“牛計(jì)算”到云計(jì)算

申請免費(fèi)試用、咨詢電話：400-8352-114

云計(jì)算是近年來風(fēng)靡IT業(yè)界的一個(gè)詞， 無論它是否真能帶來發(fā)展機(jī)遇，但它已經(jīng)成為一種潮流，如果你不入流，就不能和大家說同一種語言，也就“OUT”了。好比股市的一波大行情來臨，盡管可能會(huì)有泡沫，還是會(huì)有很多人參與其中，因?yàn)槿绻粎⑴c，就可能失去賺錢的機(jī)會(huì)（對于云計(jì)算，可能會(huì)失去得到政府資助的機(jī)會(huì)），尤其在這波行情還沒結(jié)束的時(shí)候。就連當(dāng)初并不太認(rèn)同云計(jì)算的Oracle CEO拉里·埃里森對此也無能為力，只能無奈地給Oracle也貼上“云計(jì)算”的標(biāo)簽。

云計(jì)算是“皇帝的新裝”，這一點(diǎn)不少了解其來龍去脈的人是認(rèn)同的，那么這一輪新的熱潮是否蘊(yùn)含了新的發(fā)展機(jī)遇？對此問題是仁者見仁，智者見智。筆者并不反對云計(jì)算，作為業(yè)界較早參與國內(nèi)外與云計(jì)算相關(guān)的一些工作的“老人”，筆者可能正好見證了和云計(jì)算相關(guān)的超級計(jì)算技術(shù)的發(fā)展，覺得自己對云計(jì)算，特別是技術(shù)發(fā)展方面的來龍去脈有一些了解，愿意與大家分享對此的理解。

“牛計(jì)算”是根

筆者從上個(gè)世紀(jì)80年代就開始在國內(nèi)參與并行計(jì)算的研究，參與了李三立院士當(dāng)年的Transputer合作項(xiàng)目，用于構(gòu)建并行圖像處理的Pyramid系統(tǒng)架構(gòu)。同時(shí)代的理論還有美國CMU大學(xué)HT孔教授提出的 Systolic 陣列計(jì)算機(jī)的理念等。應(yīng)該說，那時(shí)的理念一點(diǎn)兒也不比現(xiàn)在的落后，所謂Transputer，就是“Transistor+Computer”，就是說以后做并行（云）計(jì)算大系統(tǒng)，把Transputer當(dāng)積木（Lego）搭起來就行了。

筆者后來去國外學(xué)習(xí)，博士論文研究的是關(guān)于計(jì)算問題的并行分解技術(shù)和算法。畢業(yè)后在1993年有幸加入了美國Oak Ridge國家實(shí)驗(yàn)室Jack Dongarra教授（他每年6月負(fù)責(zé)發(fā)布世界超級計(jì)算Top 500排行榜）的PVM/MPI(Parallel Virtual Machine /Message Passing Library)研發(fā)團(tuán)隊(duì)，作為博士后研究員做“牛計(jì)算”（COW，也就是Cluster of Workstations）。當(dāng)時(shí)美國的幾個(gè)國家實(shí)驗(yàn)室都在進(jìn)行并行系統(tǒng)的研究和開發(fā)，其中包括Argonne實(shí)驗(yàn)室的Ian Foster教授，有人稱他為云計(jì)算之父，因?yàn)樵朴?jì)算的前身—網(wǎng)格計(jì)算的概念是他提出來的。

云計(jì)算從技術(shù)發(fā)展來說源于“牛計(jì)算”，以及后來在此基礎(chǔ)上出現(xiàn)的Globus、Beowulf（Harness the power of COW）集群計(jì)算、網(wǎng)格計(jì)算等等。從“牛計(jì)算”到云計(jì)算的發(fā)展和轉(zhuǎn)變，是計(jì)算機(jī)的大眾化商業(yè)應(yīng)用（尤其是互聯(lián)網(wǎng)商業(yè)化和搜索技術(shù)的發(fā)展）導(dǎo)致的轉(zhuǎn)變，主要標(biāo)志就是從主要服務(wù)于科學(xué)計(jì)算的“計(jì)算中心”到主要服務(wù)于互聯(lián)網(wǎng)、廣義的SaaS、搜索技術(shù)等的“數(shù)據(jù)中心”的轉(zhuǎn)變。

筆者后來于1995年加入IBM公司的 SP（Scalable PowerParallel）并行系統(tǒng)部門，參與了當(dāng)時(shí)世界上最快的超級計(jì)算機(jī)ASCI-Blue Pacific的研發(fā)工作，負(fù)責(zé)Job Scheduler（作業(yè)調(diào)度）系統(tǒng)（代表IBM LoadLeveler團(tuán)隊(duì)）的研發(fā)，再后來在硅谷一個(gè)初創(chuàng)公司，帶領(lǐng)一個(gè)團(tuán)隊(duì)成功開發(fā)了一個(gè)基于“牛計(jì)算”技術(shù)和Java Web前端的人類基因組計(jì)算系統(tǒng)。作為當(dāng)時(shí)世界首例全面成功“注釋”（Annotation）了當(dāng)時(shí)所有的人類基因組，美國CNN和舊金山紀(jì)事報(bào)等10多個(gè)世界主要媒體都做了報(bào)道。按現(xiàn)在的話說，這是一個(gè)早期的基于云計(jì)算后臺技術(shù)的生物計(jì)算SaaS門戶。

當(dāng)時(shí)研究的PVM/MPI等系統(tǒng)目前仍然是國內(nèi)外超級計(jì)算機(jī)的核心基礎(chǔ)軟件之一，包括國內(nèi)著名的曙光、深騰（聯(lián)想）和最近的天河一號（國防科大）超級計(jì)算機(jī)，都用到PVM/MPI。 另外，和IBM Loadleveler類似的非商用系統(tǒng)，如PBS、Condor等（免費(fèi)）作業(yè)調(diào)度系統(tǒng)，也是國內(nèi)外超級并行計(jì)算系統(tǒng)的“標(biāo)配”軟件之一。

應(yīng)該說，正是COW（Cluster Of Workstation）計(jì)算系統(tǒng)（一種實(shí)用的分布式計(jì)算系統(tǒng)，也叫POP， Pile Of PCs）的出現(xiàn)改變了超級計(jì)算的格局，它使超級計(jì)算的核心技術(shù)由原來的以硬件和體系架構(gòu)為主演變成了以軟件為主。所以，筆者更愿意稱COW為“牛計(jì)算”，是因?yàn)檫@個(gè)理念確實(shí)很“?！?。

最早的“牛計(jì)算”核心軟件平臺就是PVM，它是由美國Emory大學(xué)的印度裔教授 Vaidy Sunderam提出來的，但落地在Oak Ridge國家實(shí)驗(yàn)室，本人也有幸成為Oak Ridge PVM 開發(fā)組較早的成員之一。由于PVM只是一個(gè)事實(shí)標(biāo)準(zhǔn)，后來出現(xiàn)了MPI標(biāo)準(zhǔn)，于是有了很多MPI的實(shí)現(xiàn)系統(tǒng)，但基本上都是基于PVM系統(tǒng)改頭換面做成的。

“牛計(jì)算”也屬于MPP（Massively Parallel Processing），只是它是一種松耦合的MPP，相對于IBM 的SP（Scalable PowerParallel）、國內(nèi)的通用型曙光超級計(jì)算機(jī)等那樣的緊耦合MPP，主要區(qū)別就是連接計(jì)算節(jié)點(diǎn)（通用計(jì)算機(jī)主機(jī)）之間的網(wǎng)絡(luò)（或叫HPS，High Performance Switch）不一樣。

早年IBM的SP并行MPP機(jī)器的Switch都是自己做的，例如給LLNL實(shí)驗(yàn)室做的那臺ASCI-Blue Pacific，但后來IBM不自己生產(chǎn)Swicth了，之后的SP機(jī)器都是用普通的RS6000加上OEM的HPS搭建而成的。Switch好比網(wǎng)絡(luò)路由器，但是由于對傳輸速率和延遲要求較高，不通用，一般也是一些專業(yè)的小公司在做，例如Myricom公司的Myrinet。

IBM的SP超級計(jì)算機(jī)也主要用的是PVM、MPI等作為核心軟件系統(tǒng)，外加一些提高HPS使用效率的運(yùn)行環(huán)境或接口（當(dāng)時(shí)IBM的這種系統(tǒng)叫POE，即Parallel Operating Environment），以及作業(yè)調(diào)度系統(tǒng)，如IBM的LoadLeveler（基于UWM大學(xué)Livny教授的Condor系統(tǒng)研發(fā)的）。

做超級計(jì)算機(jī)就像組裝PC

由于COW的出現(xiàn)以及硬件產(chǎn)品的標(biāo)準(zhǔn)化，使得后來做一臺MPP超級計(jì)算機(jī)和組裝一臺PC也沒什么太大的區(qū)別了。只要“不差錢”，買來現(xiàn)成的計(jì)算節(jié)點(diǎn)，再買來Infiniband、Myrinet那樣的HPS, 配上PVM/MPI以及PBS/LSF等軟件（大部分是免費(fèi)的），然后根據(jù)計(jì)算任務(wù)的不同，也許還需要配HPF（High Performance FORTRAN）并行編譯語言系統(tǒng)、openMP、LinPACK標(biāo)準(zhǔn)軟件包等等，就可以組裝成一臺超級計(jì)算機(jī)了。對于專業(yè)人士和廠商，難度可能和做一個(gè)大型的系統(tǒng)集成項(xiàng)目差不多，主要技術(shù)難點(diǎn)在于整體系統(tǒng)的配置、組裝聯(lián)調(diào)和散熱等。

簡單地理解，一臺超級計(jì)算機(jī)，如果節(jié)點(diǎn)數(shù)量多，每個(gè)節(jié)點(diǎn)的計(jì)算能力都很強(qiáng)，也就是說資金投入足夠大，基本上就可以在超級計(jì)算機(jī)的Top 500名單中占據(jù)一席之地，因?yàn)樽龇ǘ际枪_的，驗(yàn)證的應(yīng)用（主要是驗(yàn)證系統(tǒng)對LinPack軟件包等的Peak性能）也是公開的。而一臺超級計(jì)算機(jī)能否發(fā)揮作用，主要還是要看使用它的應(yīng)用程序能否有效地被分解，分解后能否和系統(tǒng)充分匹配，利用好系統(tǒng)的資源。最極端的情況是，一個(gè)算法不能分解，把它拿到超級計(jì)算機(jī)上運(yùn)行可能和拿到一臺PC上運(yùn)行的執(zhí)行速度是一樣的。

早期的COW系統(tǒng)中的計(jì)算節(jié)點(diǎn)主要都是閑置的計(jì)算資源，如辦公室中的桌面工作站、普通PC等，采用普通的局域網(wǎng)連接。因?yàn)檫@些節(jié)點(diǎn)白天要正常使用，所以作為集群計(jì)算的節(jié)點(diǎn)工作主要在晚上和周末的時(shí)間，SETI@HOME是“牛計(jì)算”的典型應(yīng)用之一，這是一項(xiàng)利用全球互聯(lián)網(wǎng)上的閑置計(jì)算資源共同搜尋地球以外文明的科學(xué)實(shí)驗(yàn)計(jì)劃，超級計(jì)算由此也走入千家萬戶。不過，后來超級計(jì)算這個(gè)詞在業(yè)內(nèi)逐漸被HPC（High Performance Computing，高性能計(jì)算）、HTC (High-throughput Computing，高吞吐計(jì)算)等詞所取代。

HPC計(jì)算的主要應(yīng)用是科學(xué)計(jì)算，包括核爆炸的模擬（Nuclear Stockpile）、采掘業(yè)的模擬計(jì)算、氣象預(yù)報(bào)計(jì)算等。隨著互聯(lián)網(wǎng)的發(fā)展和普及，HPC計(jì)算技術(shù)越來越多地被用到了海量數(shù)據(jù)的存儲(chǔ)和查詢的應(yīng)用中，例如Google、Amazon、Ebay、Salesforce.com，包括近期出現(xiàn)的FaceBook、Twitter、LinkedIn等社區(qū)網(wǎng)站以及國內(nèi)的新浪、Alibaba、盛大等，這些公司都需要建立龐大的“牛計(jì)算”系統(tǒng)，用的機(jī)器多半都是常規(guī)的Linux PC，組成叫Server Farms(服務(wù)器“農(nóng)場”，和“?！币蚕嚓P(guān))的大系統(tǒng)。

在這樣的系統(tǒng)中，計(jì)算能力不再是最關(guān)鍵的因素，HPS也不是必需的，高效的海量存儲(chǔ)和處理能力成為核心。因此HPC、超級計(jì)算這樣的詞也逐漸讓位給網(wǎng)格計(jì)算（Grid Computing）、云計(jì)算這樣的更貼近于大眾化語言的新詞。

云計(jì)算的核心是支撐“XaaS”

云計(jì)算是并行計(jì)算、分布式計(jì)算（或“牛計(jì)算”）和網(wǎng)格計(jì)算的發(fā)展，或者說是這些計(jì)算機(jī)科學(xué)概念的商業(yè)實(shí)現(xiàn)。云計(jì)算代表了HPC從科學(xué)計(jì)算到大眾化商業(yè)應(yīng)用的變遷，使以前最燒錢和不賺錢的超級計(jì)算產(chǎn)業(yè)變成了最賺錢和省錢（充分利用現(xiàn)成的CPU 的計(jì)算能力）的生意。云計(jì)算使以前的“計(jì)算中心”邊緣化，“數(shù)據(jù)中心”成為主流。

云計(jì)算也是虛擬化、效用計(jì)算(Utility Computing)、IaaS(基礎(chǔ)設(shè)施即服務(wù))、PaaS(平臺即服務(wù))、SaaS(軟件即服務(wù))、HaaS（硬件作為服務(wù)）等XaaS（一切皆服務(wù)）概念和技術(shù)混合演進(jìn)的結(jié)果。筆者認(rèn)為云計(jì)算的賣點(diǎn)主要有兩個(gè)：一是節(jié)省硬件投資，通過虛擬化等技術(shù)使得IT資源的利用率得到提高，而借助SaaS、IaaS、PaaS、HaaS等服務(wù)，用戶無需投入資金建立自己的數(shù)據(jù)中心，就可以靈活滿足業(yè)務(wù)的變化; 二是SaaS。云計(jì)算和SaaS成為一對“黃金搭檔”，云計(jì)算托起SaaS, SaaS保持用戶對云計(jì)算的粘性。這里說的SaaS是廣義的SaaS，即任何通過瀏覽器就能實(shí)現(xiàn)的軟件服務(wù)都屬于SaaS，而不只是Salesforce所說的多租戶（Multi-Tenants）概念下的狹義SaaS?；谶@個(gè)定義，網(wǎng)上銀行可以算作SaaS，它一般是單租戶的，而Google那樣的搜索門戶也是SaaS，但它是無租戶的。當(dāng)然，新浪那樣的信息門戶以及Amazon、Ebay、FaceBook這樣的門戶也都可以劃入SaaS之列，而不僅僅是像Saleforce.com這樣的公司提供的那些服務(wù)。

當(dāng)年的ASP后臺其實(shí)就是云計(jì)算，Exodus這樣的一批數(shù)據(jù)中心公司在.COM年代曾經(jīng)風(fēng)光無限，但后來全軍覆沒。ASP廠商失敗的根本原因就在于它們沒有直接提供XaaS應(yīng)用，其應(yīng)用沒有用戶粘性。所以，前車之鑒，單靠推廣IaaS/HaaS的云計(jì)算，作為一種商業(yè)模式，也多半是要失敗的。

Amazon使用彈性計(jì)算云（EC2）和簡單存儲(chǔ)服務(wù)（S3）為企業(yè)提供計(jì)算和存儲(chǔ)服務(wù)。收費(fèi)的服務(wù)項(xiàng)目包括存儲(chǔ)服務(wù)器、帶寬、CPU資源以及月租費(fèi)。Amazon把云計(jì)算做成一個(gè)大生意花了不到兩年時(shí)間。Amazon上的注冊開發(fā)人員已達(dá)44萬人，還有為數(shù)眾多的企業(yè)級用戶。由第三方統(tǒng)計(jì)機(jī)構(gòu)提供的數(shù)據(jù)顯示，Amazon與云計(jì)算相關(guān)的業(yè)務(wù)收入已達(dá)1億美元。云計(jì)算是Amazon增長最快的業(yè)務(wù)之一。在筆者看來，Amazon成功的關(guān)鍵在于它的主營業(yè)務(wù)保持了用戶的粘性，1億美元的云計(jì)算業(yè)務(wù)相對于它的電子商務(wù)主營業(yè)務(wù)其實(shí)可以忽略不計(jì)，屬于現(xiàn)有資源的擴(kuò)展利用，只是錦上添花。

Google是最大的云計(jì)算使用者，其搜索引擎就建立在分布于200多個(gè)地點(diǎn)、超過100萬臺服務(wù)器的支撐之上。Google地球、地圖、Gmail、Docs等也都基于這些基礎(chǔ)設(shè)施提供。采用Google Docs之類的應(yīng)用，用戶的數(shù)據(jù)會(huì)保存在互聯(lián)網(wǎng)上的某個(gè)位置，只要通過任何一個(gè)與互聯(lián)網(wǎng)相連的系統(tǒng)就可以十分便利地訪問這些數(shù)據(jù)。目前，Google已經(jīng)允許第三方在Google的云計(jì)算中通過Google App Engine運(yùn)行大型并行應(yīng)用程序。所有這些應(yīng)用的核心理念還是SaaS。

SaaS是對微軟帝國最大的威脅之一，和Oracle一樣，微軟也可能是“被逼無奈”才大談云計(jì)算。但是，此“云計(jì)算”非彼“云計(jì)算”，各有目的。在筆者看來，微軟推出的Windows Azure云計(jì)算“操作系統(tǒng)”其實(shí)和云計(jì)算理念并不一致。

因?yàn)樵朴?jì)算的目標(biāo)之一就是要消除Windows這樣的“操作系統(tǒng)”的存在，而目前Windows是市場份額最高的客戶端。

目前，云計(jì)算在我國發(fā)展非常迅猛。IBM在中國無錫太湖新城科教產(chǎn)業(yè)園建立的中國第一個(gè)云計(jì)算中心已投入運(yùn)營，IBM自己在北京的中國創(chuàng)新中心成立了第二家中國的云計(jì)算中心—IBM大中華區(qū)云計(jì)算中心。2008年底，廣東電子工業(yè)研究院與東莞松山湖科技產(chǎn)業(yè)園管委會(huì)簽約，要在東莞松山湖投資兩億元建立云計(jì)算平臺。阿里巴巴集團(tuán)旗下子公司阿里軟件也與江蘇省南京市政府正式簽訂協(xié)議，要在南京建立國內(nèi)首個(gè)“電子商務(wù)云計(jì)算中心”，首期投資額將達(dá)上億元人民幣。中國移動(dòng)也推出了BigCloud（大云）。

這些云計(jì)算中心（或者計(jì)劃）中，阿里巴巴做云計(jì)算是合乎邏輯的，因?yàn)樗泻艽蟮腟aaS業(yè)務(wù)資源;中國移動(dòng)有自己的“內(nèi)部需求”，也有很大規(guī)模的數(shù)據(jù)中心，引入云計(jì)算技術(shù)充分發(fā)揮現(xiàn)有資源的作用，也是合乎邏輯的。其他已建立的云計(jì)算中心，不少也就是原來的“計(jì)算中心”的升級版，它們對業(yè)務(wù)模式并不清楚。

在筆者看來，國際幾大巨頭中IBM的云計(jì)算路數(shù)有些不同，因?yàn)镮BM沒有任何SaaS運(yùn)營業(yè)務(wù)。所以，IBM推云計(jì)算的意圖多半也是“項(xiàng)莊舞劍，意在沛公”，著眼點(diǎn)還是服務(wù)器和軟件。

云計(jì)算的服務(wù)對象是數(shù)據(jù)中心，從技術(shù)層面來說，以前HPC系統(tǒng)中常用的軟件系統(tǒng)，如PVM/MPI/HPF等都已經(jīng)派不上大用場了（不過Amazon的CloudMaster基本上就是原來MPP系統(tǒng)中“作業(yè)調(diào)度”系統(tǒng)重新包裝的結(jié)果），于是出現(xiàn)了許多新的算法和軟件系統(tǒng)。例如Google推出的MapReduce、GFS、Bigtable以及MapReduce的開源實(shí)現(xiàn)Hadoop等，主要的東西還是出自Google的，其他廠商正在效仿。

云計(jì)算的社會(huì)效益和商業(yè)模式

有些人視云計(jì)算為第三次IT行業(yè)變革時(shí)代的開始，很多專家也預(yù)測云計(jì)算在中國將會(huì)有一個(gè)廣闊前景。在國外人們主要談商業(yè)模式，而在國內(nèi)大家要考慮社會(huì)效益。要想使云計(jì)算在中國有一個(gè)更美好的未來， 兩點(diǎn)很關(guān)鍵：政府需要看到社會(huì)效益， 商家需要看到能賺錢的商業(yè)模式。前者可以推動(dòng)后者，但不能保證后者的成功。

關(guān)于社會(huì)效益，筆者在主文提到的云計(jì)算的兩個(gè)賣點(diǎn)中的第一點(diǎn)：節(jié)省硬件投資，充分利用已投入的資源。這一點(diǎn)顯然是符合中國目前“建設(shè)節(jié)約型社會(huì)，發(fā)展循環(huán)經(jīng)濟(jì)”的大政方針的，社會(huì)效益不言自明。云計(jì)算可以緩解目前國內(nèi)普遍存在的“低水平重復(fù)建設(shè)”的老大難問題。

但是，目前云計(jì)算的模式對解決這個(gè)問題沒有清晰的可操作性。由于受到相關(guān)法規(guī)，財(cái)政預(yù)算制度和國民文化習(xí)慣的影響，云計(jì)算的發(fā)展有三大障礙。第一，多數(shù)中國企業(yè)對從外部采購數(shù)據(jù)存儲(chǔ)服務(wù)信心不足，擔(dān)心會(huì)失去對數(shù)據(jù)的控制; 而且寬帶接入速度還太低，無法保障優(yōu)質(zhì)的云服務(wù)。第二，財(cái)政預(yù)算制度不支持云計(jì)算和SaaS服務(wù)所提倡的按需付款的模式，往往上級領(lǐng)導(dǎo)批了一筆錢（尤其在政府部門），都是按項(xiàng)目模式，專款專用，限期必須花完，服務(wù)模式行不通。第三，國民文化習(xí)慣也不支持云計(jì)算和SaaS的“租用”模式，中國人喜歡“擁有”，而且還要是新的。如果上述問題處理不好，產(chǎn)業(yè)鏈?zhǔn)呛茈y形成的。

關(guān)于商業(yè)模式，目前中國還沒有Google Docs、Amazon EC2、Salesforce等這樣一批在XaaS業(yè)務(wù)方面有足夠粘性作為基礎(chǔ)開展云計(jì)算業(yè)務(wù)的企業(yè)，很多企業(yè)尤其是大企業(yè)的云計(jì)算計(jì)劃往往是其研發(fā)部門提出來的，而不是真正的公司決策層提出的云計(jì)算戰(zhàn)略規(guī)劃。另外，目前國內(nèi)有許多企業(yè)參與追捧云計(jì)算，其目的之一也是想借機(jī)得到政府的支持。

筆者認(rèn)為，像阿里軟件這樣有基礎(chǔ)做SaaS和云計(jì)算的企業(yè)在中國并不多，另外也有幾家以前做ASP和SaaS的公司，想通過云計(jì)算（和SaaS）的理念重新包裝自己，使業(yè)務(wù)上一個(gè)新臺階。在金融領(lǐng)域，云計(jì)算可能是率先能夠得到成功應(yīng)用的，例如在銀行的柜臺和ATM機(jī)，云終端（也就是瘦PC、網(wǎng)絡(luò)PC）的使用比較順理成章，云終端比傳統(tǒng)PC更安全（安全性是云計(jì)算的主要弊端），也可降低成本。當(dāng)然沒想明白的也有不少，從很多公司的業(yè)務(wù)模式定位上就能看出來，它們以為真的找到了新的發(fā)展機(jī)遇，其實(shí)有很多業(yè)務(wù)模式根本經(jīng)不住推敲。

筆者認(rèn)為，云計(jì)算是一個(gè)很好的業(yè)務(wù)模式，尤其是它的成功實(shí)施會(huì)帶來很好的社會(huì)效益，社會(huì)效益的提升必將帶來云計(jì)算產(chǎn)業(yè)的繁榮和各種云計(jì)算商業(yè)模式的成功。雖然困難不少，但這條路還需走下去，我們祝愿云計(jì)算在社會(huì)效益和商業(yè)模式方面都能夠在中國取得真正的成功。