說說這些年做的云計算和大數據項目

       入行十幾年了，做了不少分布計算、并行計算、內存計算、海量數據處理的項目，按照現在的分類，這些都屬于云計算/大數據范疇。今天說說我做過的其中三個項目，只三個。         第一個是我們接到的視頻分享網站的視頻轉碼的訂單，網站名字就不說了，有替人宣傳嫌疑。他們情況是這樣，視頻網站的內容用MP4格式在網頁上播放，但是上傳的格式多種多樣，我們必須把這些視頻統一轉換成MP4格式，視頻轉碼的工作想必大家都在自己的電腦上試過，通常一個100M左右的視頻轉碼需要20分鐘以上（CPU是Pentium IV）。為了提高轉碼效率，讓用戶以接近實時得到結果，必須在收完視頻后，立即將一個視頻拆分成多個單元，分散到多臺計算機上進行轉碼，然后回收所有轉碼視頻，按照順序再次組合成一個新視頻。我估計現在視頻網站都是這個套路。我們這個團隊最早是做流媒體起家的，工作沒什么難度，輕車熟路，很快就完成了。只要機器足夠多，視頻差不多可以以接近實時的狀態完成轉碼。后來又再一次改進，從用戶上傳視頻開始立即進行轉碼，收到一段轉一段，用戶的視頻上傳完畢，我們的轉碼工作也完成，用戶可以馬上看到自己上傳的轉碼后視頻，基本上是零延時，并且穩定性、效率都高于對方提出的要求。做完這個，合作方老板很滿意，接著又給了一個CDN的項目。現在我們仍保持著合作的關系。            

       第二個有點玄乎，項目可以寫一篇論文，題目是《關于空中移動目標運行軌跡和落點的問題》。這個項目是XXX發下來的，實質就是炮彈打×××，大概是想看看能不能打著，論證技術可行性。當時人還在某單位，因為研究領域和空氣動力學毫不相關，所以這方面的知識基本屬于文盲，知道的也就是那么幾個有限的名詞和數學公式，但是這正好符合XXX的要求，不需要我們懂這些高深的理論，他們派人和我們合作這個項目。我們的工作就是把很多傳感器（他們沒明說，但是地球人都明白這東西應該是雷達）接收的數據，包括當前多少公里范圍內的空氣的風速、風向、地表的曲面率，還有其它一些指標在收集后（這些瞬間產生的三維數據的數據量非常大），分散到一大堆計算機上去執行（測試時準備了100個節點），并且要很快計算出結果（必須比空中運動的目標快）。這其實和現在的SPARK、STORM做的工作很象，要依賴大內存、高性能CPU、和高速網絡，跳過硬盤這個瓶頸，才能得以實現快速計算。這個項目花了很長時間，主要是與合作方的溝通改進，然后是再溝通再改進，循環往復，周而復始。后來終于完成了，據說做了試驗，可行性很高，上面領導很滿意，還擺了慶功酒。反正我沒見著也沒喝著。其實他們怎么計算的，我到最后也沒有搞明白，問過一次，說是秘密。         

       第三個和兩桶油的頁巖氣有關。當前的背景是在四川涪陵（這個地方還產榨菜）發現了大面積的天然氣，按照自然規律，油氣是共生的，所以兩桶油想通過采集頁巖樣本，分析這個地區地下有沒有石油資源，如果有，是不是具有開采價值。這套程序原本已經是有的，艾克森.美孚石油公司開發的，跑在CARY-1向量機上。那套機器是上世紀七八十年代的超級計算機，在當時已經不能滿足需要，屬于進博物館之列。有些數據分析理論已經過時，需要調整。兩桶油最不滿意的還是速度太慢，計算一次要幾小時幾天才能出結果。這一次又是合作，兩桶油出熟悉采油的技術專家，我們出并行計算的碼農，前前后后合作弄了大半年，算是完成了。這次我們用了新的并行算法，效率提高了一大截。和上次炮彈打×××一樣，整個項目靜悄悄開始，靜悄悄結束，后面怎么樣就不知道了。