亚洲熟妇av一区二区三区,亚洲av中文无码乱人伦在线视色,亚洲人成网站色www,亚洲欧美日韩国产综合在线一区 ,亚洲av之男人的天堂网站

分享
Scan me 分享到微信

Twitter放棄Cassandra數(shù)據(jù)庫(kù) 海量數(shù)據(jù)處理是關(guān)

Twitter的工程師瑞恩·金(Ryan King)在博客中直接說(shuō)到:“公司的分析團(tuán)隊(duì)、運(yùn)營(yíng)團(tuán)隊(duì)以及基礎(chǔ)建設(shè)團(tuán)隊(duì)正在使用Cassandra系統(tǒng)合作研發(fā)一款供Twitter后臺(tái)以及客戶共同使用的大規(guī)模實(shí)時(shí)數(shù)據(jù)分析產(chǎn)品。”

  美國(guó)著名社交網(wǎng)站Twitter近日在其官方工程技術(shù)博客上發(fā)布兩條重量級(jí)消息:Twitter將不再使用Cassandra數(shù)據(jù)庫(kù)系統(tǒng)儲(chǔ)存數(shù)據(jù),Cassandra將被改做用于Twitter實(shí)時(shí)分析產(chǎn)品的技術(shù)研發(fā)。

  此前業(yè)界一直相信Twitter將在未來(lái)發(fā)展戰(zhàn)略中大規(guī)模的使用分析學(xué)的原理,但此前上述消息僅僅來(lái)源于一些言辭模糊的官方聲明。但這一次 Twitter的動(dòng)作明顯要實(shí)在得多,美國(guó)著名科技博客網(wǎng)站ReadWriteWeb的馬歇爾·柯克帕特里克(Marshall Kirkpatrick)根據(jù)現(xiàn)有的證據(jù)預(yù)測(cè)Twitter的實(shí)時(shí)分析產(chǎn)品將于近幾日之內(nèi)面世,而Twitter的工程師瑞恩·金(Ryan King)在博客中直接說(shuō)到:“公司的分析團(tuán)隊(duì)、運(yùn)營(yíng)團(tuán)隊(duì)以及基礎(chǔ)建設(shè)團(tuán)隊(duì)正在使用Cassandra系統(tǒng)合作研發(fā)一款供Twitter后臺(tái)以及客戶共同使用的大規(guī)模實(shí)時(shí)數(shù)據(jù)分析產(chǎn)品。”

  Cassandra是一款開(kāi)源Apache項(xiàng)目,該項(xiàng)目最早由Facebook于2008年進(jìn)行開(kāi)源。瑞恩·金表示未來(lái)Cassandra仍將做為 Twitter眾多新產(chǎn)和服務(wù)的核心架構(gòu),包括地理定位數(shù)據(jù)庫(kù)、對(duì)話題趨勢(shì)的數(shù)據(jù)挖掘以及上文提到的實(shí)時(shí)分析產(chǎn)品。他說(shuō):“我們現(xiàn)在每天都在利用 Cassandra來(lái)處理相關(guān)問(wèn)題,它將注定陪伴我們很長(zhǎng)時(shí)間,未來(lái)我們對(duì)于它的使用只會(huì)不斷增加。”

  以下是來(lái)自Tim[后端技術(shù)]的分析。

  Twitter為什么要停用Cassandra

  我們來(lái)分析一下Twitter停止使用Cassandra的原因。

  1. Cassandra仍然缺少大并發(fā)海量數(shù)據(jù)訪問(wèn)的案例及經(jīng)驗(yàn),Cassandra來(lái)源自Facebook,但是在Facebook內(nèi)部Cassandra 目前只用在inbox search產(chǎn)品上,容量大約有100-200T。且Inbox Search在Facebook的基礎(chǔ)架構(gòu)中也并非核心應(yīng)用。并且還傳出不少rumors說(shuō)facebook已經(jīng)放棄Cassandra。

  2. 新產(chǎn)品需要一定穩(wěn)定期,Cassandra代碼或許還存在不少問(wèn)題,但是Twitter如果投入大量的精力來(lái)改進(jìn)Cassandra和比較優(yōu)化MySQL 的投入來(lái)看有點(diǎn)得不償失。在QCon Beijing上@nk也提到Cassandra在Twitter的內(nèi)部測(cè)試中曾經(jīng)暴露出不少嚴(yán)重的問(wèn)題。

  Twitter為什么之前選用Cassandra

  此問(wèn)題曾經(jīng)在QCon Beijing 2010做過(guò)介紹,在去年的第一期廣州技術(shù)沙龍也有過(guò)交流,類似Twitter這樣的網(wǎng)站使用Cassandra的主要原因有

  1. 數(shù)據(jù)增長(zhǎng)規(guī)模需要不斷增加新服務(wù)器,傳統(tǒng)的切分方案在面臨增刪硬件時(shí)候需要手工維護(hù),當(dāng)數(shù)據(jù)規(guī)模速度增快,業(yè)務(wù)又不運(yùn)行停機(jī)維護(hù),手工維護(hù)的成本增加造成系統(tǒng)運(yùn)維不堪重負(fù)。

  2. 不能簡(jiǎn)單增加服務(wù)器解決請(qǐng)求量增長(zhǎng)的問(wèn)題,需要數(shù)據(jù)架構(gòu)師精細(xì)的規(guī)劃。

  3. 每一個(gè)新的特性都需要重復(fù)評(píng)估數(shù)據(jù)拆分及訪問(wèn)優(yōu)化的問(wèn)題,架構(gòu)師需要投入大量精力review幾乎相同的業(yè)務(wù)場(chǎng)景。

  Twitter的調(diào)整對(duì)于MySQL業(yè)界來(lái)說(shuō)或許是一大利好,MySQL雖然受近期Oracle收購(gòu)陰影的影響,但是對(duì)于目前大多數(shù)擁有海量數(shù)據(jù)訪問(wèn)的網(wǎng)站依然是他們第一選擇。

  MySQL簡(jiǎn)單,可靠,安全,配套工具完善,運(yùn)維成熟。業(yè)界碰到的大部分可擴(kuò)展性方面的問(wèn)題在MySQL中其實(shí)都有清晰明確的解決方法。雖然重復(fù)sharding的問(wèn)題很煩,增刪機(jī)器相關(guān)的運(yùn)維工作也很繁瑣,但是這些工作量還是在可以接受的范圍內(nèi)。

  究竟Twitter這次策略改變是NoSQL運(yùn)動(dòng)的一次挫折還是前進(jìn)中的一段小插曲?我們拭目以待。目前另外一大Web 2.0巨頭Digg仍然在使用Cassandra。

喜歡您正在閱讀的內(nèi)容嗎?歡迎免費(fèi)訂閱泰伯每周精選電郵。 立即訂閱

參與評(píng)論

【登錄后才能評(píng)論哦!點(diǎn)擊

  • {{item.username}}

    {{item.content}}

    {{item.created_at}}
    {{item.support}}
    回復(fù){{item.replynum}}
    {{child.username}} 回復(fù) {{child.to_username}}:{{child.content}}

更多精選文章推薦