所謂大數(shù)據(jù)，即是在從各種各樣類型的數(shù)據(jù)中，快速獲得有價(jià)值信息的能力。明白這一點(diǎn)至關(guān)重要，也正是這一點(diǎn)促使該技術(shù)具備走向眾多企業(yè)的潛力。
從亞馬遜的比價(jià)推薦，Nefilix公司對(duì)《紙牌屋》受捧的成功策劃、微軟紐約研究院的經(jīng)濟(jì)學(xué)家David Rothschild對(duì)奧巴馬到奧斯卡到NBA數(shù)據(jù)的精準(zhǔn)預(yù)測(cè)，已經(jīng)充分證明了這不是一項(xiàng)噱頭技術(shù)。
大數(shù)據(jù)有四個(gè)明顯的優(yōu)勢(shì)：第一，數(shù)據(jù)體量巨大。從TB級(jí)別，躍升到PB級(jí)別;第二，數(shù)據(jù)類型繁多。前文提到的網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等。第三，價(jià)值密度低。以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒。第四，處理速度快。
人工智能是一個(gè)非常復(fù)雜的方向，也是一個(gè)跨學(xué)界的計(jì)算機(jī)學(xué)科，涉及到其他方面的知識(shí)，主要內(nèi)容在于計(jì)算機(jī)學(xué)習(xí)人類的自然語言處理。我們無需去遐想如智能終結(jié)者這樣科幻的畫面，那是科學(xué)家的要研究的事。現(xiàn)實(shí)生活中，我們已經(jīng)看到越來越多的大數(shù)據(jù)與人工智能結(jié)合的產(chǎn)品，如蘋果的Siri，它包含語音識(shí)別(Speech Recognition)，是自然語言處理(Natural Language Processing)的一部分。在實(shí)際的應(yīng)用中，起到了不少作用，包括智能手機(jī)上的服務(wù)調(diào)配，能解決用戶日常的需求。
那么這是否大數(shù)據(jù)與人工智能的結(jié)合的切合點(diǎn)?我們來看看簡單原理：
在《大數(shù)據(jù)：改變我們生活、工作、思考的革命》一書中，作者維克多•梅耶提到，現(xiàn)在的電腦系統(tǒng)是根據(jù)編寫程序時(shí)明確要求它們遵循的規(guī)則來進(jìn)行運(yùn)算的。因此，當(dāng)一個(gè)結(jié)果偶爾無可避免地出錯(cuò)的時(shí)候，我們可以回過頭Recode。無論電腦代碼如何復(fù)雜，任何代碼都是可以追中并理解運(yùn)算的基礎(chǔ)。
但大數(shù)據(jù)的追蹤變得困難許多。首先算法預(yù)言的基礎(chǔ)可能會(huì)復(fù)雜得讓常人難以理解。谷歌翻譯在判斷一個(gè)單詞的翻譯方法卻動(dòng)用了數(shù)十億頁的翻譯資料。 這種基于海量數(shù)據(jù)大量的統(tǒng)計(jì)運(yùn)算，使得人們幾乎不可能追蹤算法具體的因素。同時(shí)，由于大數(shù)據(jù)的規(guī)模體量，其運(yùn)作的規(guī)模也超乎我們的想象。谷歌分辨幾個(gè)搜尋關(guān)鍵詞和流感的關(guān)聯(lián)是測(cè)試四億五千萬個(gè)數(shù)學(xué)模型的結(jié)果。
如果要說服客戶使用這套技術(shù)，便需要算法師來幫助調(diào)整，從事這個(gè)職業(yè)的人，都需要哪些要求?
首先，這些專業(yè)人士是計(jì)算機(jī)科學(xué)、數(shù)學(xué)和統(tǒng)計(jì)學(xué)方面的專家。日常工作中，他們會(huì)檢查大數(shù)據(jù)的分析和預(yù)報(bào)。他們會(huì)評(píng)價(jià)數(shù)據(jù)源，分析預(yù)報(bào)，作出底層的算法模型，當(dāng)人們需要檢測(cè)算法的原理，他們會(huì)調(diào)出算法的結(jié)果、統(tǒng)計(jì)方法及數(shù)據(jù)庫。簡單說，算法師擔(dān)當(dāng)?shù)氖且粋€(gè)篩選數(shù)據(jù)的職能。
計(jì)算機(jī)發(fā)展至今，積累的龐大數(shù)據(jù)庫需要有人對(duì)其進(jìn)行編排組織，給以針對(duì)性地利用。在這里算法師又分為外部算法師與內(nèi)部算法師。外部算法師可以在政府需要的時(shí)候，比如法庭發(fā)出命令或頒布規(guī)章，以中立審計(jì)師的身份檢查大數(shù)據(jù)預(yù)報(bào)的準(zhǔn)確性或合理性。算法師可以為大數(shù)據(jù)公司提供服務(wù)，給予專業(yè)的審計(jì)服務(wù)。
內(nèi)部算法師在機(jī)構(gòu)的內(nèi)部監(jiān)察大數(shù)據(jù)活動(dòng)。他們不僅關(guān)注企業(yè)的利益，還關(guān)注被企業(yè)的大數(shù)據(jù)分析影響到的人的利益。他們監(jiān)督大數(shù)據(jù)操作，任何人覺得自己被該機(jī)構(gòu)的大數(shù)據(jù)預(yù)告?zhèn)Φ降臅r(shí)候，內(nèi)部算法師是他們第一個(gè)聯(lián)絡(luò)的人。他們?cè)跀?shù)據(jù)公布前檢查分析的完整性和準(zhǔn)確性。要完成頭兩個(gè)任務(wù)，算法師必須在他們供職的企業(yè)內(nèi)享有一定程度的自由和中立性。總而言之，內(nèi)部算法師是企業(yè)為了維持公眾信任而生的職業(yè)。
對(duì)于算法師這份職業(yè)需求，最直接的原因是，大數(shù)據(jù)的領(lǐng)域還未能建立起新的規(guī)范準(zhǔn)則約束企業(yè)。算法師通過設(shè)計(jì)一套系統(tǒng)，為社會(huì)解析對(duì)個(gè)人數(shù)據(jù)等安全上的擔(dān)憂設(shè)立保障，對(duì)于這份打開黑匣子的職業(yè)，有人感興趣嗎?(槐序)
{{item.content}}