歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
您现在的位置: Linux教程網 >> UnixLinux >  >> Linux綜合 >> Linux資訊 >> Linux業界

詳解Instagram價值7.5億美元的簡潔技術

Instagram 5位傳奇工程師背後的"極簡"技術最珍貴;巧用MapReduce與HDFS,對海量數據進行去重的五大策略無疑最實用;圓桌會議上,頂尖工程師“兜售”了哪些頂尖技術是大家都想知道的;還有那些雲計算領域初期就存在的大牛們,和獲得ACM Infosys基金會大獎的兩位谷歌專家。

本周內容囊括了技術、人物、工具/語言等多方面內容。首先我們看技術方面:1. 小團隊的巨額盈利:Instagram在僅有5位工程師,團隊共有13人的情況下,成功將自己以7.5億美元出售給Facebook;2. 老將巧用,使用MapReduce+HDFS對海量數據進行去重。其次是編程工具方面:在Structure Data Guru的圓桌會議上,備受頂尖技術人員推崇的語言工具等。最後我們看一下人物:1. 網絡計算時代,早些年就對雲領域有卓越貢獻的大牛們;2. ACM將今年雲計算領域的傑出貢獻獎頒發給了MapReduce和BigTable等軟件的設計者Jeff Dean與Sanjay Ghemawat。現在一起來看更多更詳細的內容:

1. Instagram價值7.5億美元的背後:頂尖小團隊的極簡技術

Facebook以7.5億美元收購了Instagram,不管是這個社交巨頭企圖“扼殺”競爭對手,還是貪圖Instagram成功的技術,Instagram在僅有5位工程師,13人團隊的情況下,將自己賣了7.5億美元。

與高速增長相背離的是,從成立之初僅有凱文·希斯特羅姆(Kevin Systrom)和邁克·克裡格(Mike Krieger)兩位創始人,到2011年獲得A輪風投700萬美元的4位員工,再到被收購時的13人團隊,Instagram人員組織一直極為精簡

如此小規模的團隊居然可以如此自如地應對飛速增長的用戶數並提供創新服務,這不能不說是硅谷的又一個財富傳奇。以至於Instagram技術團隊撰寫的《 Instagram:數百的實例 大量的技術》一經發布,就獲得了創業企業CTO們的熱烈回應。彼時,Instagram的團隊還在尋找一個“可以馴服EC2 實例群的DevOps”。

沒有想到,收購如此來勢洶洶。2012年4月10日,Facebook宣布收購Instagram。兩天之後,Instagram的聯合創 始人Mike Krieger公開發表《 如何成為十億美元公司》演講,第一次向外界全面地展現了Instagram創業歷程以及其中不得不說的技術“秘密.”。本文為演講PPT全文翻譯,有助於 創新技術團隊更好認識和了解Instagram13人團隊創造奇跡所依賴的技術。

2. “老將巧用”:使用MapReduce+HDFS,對海量數據去重的五大策略
隨著收集到數據體積的激增,去重無疑成為眾多大數據玩家面對的問題之一。重復數據刪除在減少存儲、降低網絡帶寬方面有著顯著的優勢,並對擴展性有所幫助。在存儲架構中,刪除重復數據的常用方法包括哈希、二進制比較和增量差分;然而大數據時代我們更需要海量的數據去重策略。

  • 只使用HDFS和MapReduce
  • 使用HDFS和Hbase
  • 使用HDFS,MapReduce和存儲控制器
  • 使用Streaming,HDFS,MapReduce
  • 結合塊技術使用MapReduce

五大策略中每條分別運用了以上技術,更多具體實現請見原文。

3. 圓桌會議上,備受頂尖技術人員推崇的頂尖編程語言、擴展工具等
開發者總是樂此不疲的尋求更新、更高效的語言及工具,因為編程語言和工具對開發者來說無異於劍客手中的寶劍。在Structure Data Guru的圓桌會議上,技術大牛們介紹了一些比較優秀的技術,它們分別是:

  • 解釋性語言Sawzall
  • 新的網絡擴展計算工具集YARN、Weave、Helix和Big Flow
  • 實時框架Kafka和Storm

當然統計是並不完全的,JVM的繼續普及讓許多基於它的語言都變的熱門起來,比如:Clojure 和Scala。鑒於JVM幾乎無處不在,支持它的語言在競爭中將持有巨大的優勢;因為如果你是開發者,你肯定希望你的程序可以為更多人使用。

4. 那些年雲計算領域的大牛們
Enomaly是一家2003年成立的雲計算公司,在2012年被企業雲提供商Virtustream所收購。日前,Enomaly創始人Reuven Cohen在Forbes上發表了一篇文章,細數了一些早期的雲計算大牛。

Reuven Cohen被InfomationWeek的Charles Babcock列為 早期的雲先鋒之一。這個排名囊括了一些早期的雲開拓者(包括 James Urquhart、 David Linthicum、 Michael Crandell、 John Keagy等)。然而還有一些早期的大牛被遺忘,比如: Moshe Bar、Kate Keahey、Khazret Sapenov、Fabrice Bellard、Vladimir Miloushev,限於篇幅問題,請點擊鏈接查看這些大牛的光輝事跡,以及更多未被提名的大牛們。

5. 因SaaS與NoSQL,Oracle雄風不在?
DB-Engines排行榜上,甲骨文是當之無愧的數據庫人氣王。然而近日卻有一則消息稱,數據庫巨頭對市場的掌控力在顯著降低,更有雄風不再的說法。

眾多NoSQL、內存數據庫等新型數據庫的圍攻下,甲骨文顯然在流血。數據庫收入曾一度是甲骨文的取款機,如今這種情況變了。本周,甲骨文的報告顯示軟件銷售量下降了兩個百分點;難道這個巨擘真如傳聞一樣失去了對市場的完全掌控,雄風已然不再?

6. DARPA慷慨解囊的背後:Python與大數據的火花
近日DARPA宣布給Continuum Analytics公司投資300萬美元,用於開發Python的數據分析和處理庫。Python作為解釋性語言,高編碼效率的優勢下伴隨著“杯具”的運行效率,那麼又究竟是什麼讓Python受如此多大數據玩家喜愛?

文章從Python自身的優勢,並對其與大數據的融合情況進行了分析。最後更介紹了近期得到DARPA慷慨解囊的一些項目。

7-8 分別是關於性能和服務器的文章: 究竟是什麼讓Redshift比Hive快10倍?!雲計算大戰升溫 服務器OEM押注OpenStack

前者講述了在Hapqrus上一個Hive與Redshift的基准測試中,Redshift以十倍的速度完勝Hive。 Reynold Xin用三個可互換術語“並行數據庫”、“關系型數據庫”和“分析型數據庫”解釋了這個懸殊。比起並行數據庫,Hive在可擴展性、靈活度方面遙遙領先; 然而這些優勢,同樣阻礙了查詢引擎的性能。

後者則是隨著雲計算的大戰越來越激烈,近年來大的雲廠商已經使用他們的影響力來擠壓利潤,威脅到了商用服務器。雲計算已經 改變了服務器世界的經濟,並且一些著名的服務器廠商也推出了自己的雲服務。目前,惠普、戴爾和IBM都進入了基於OpenStack的公共雲領域,以保持 自身的競爭力。
Copyright © Linux教程網 All Rights Reserved