前言
自18個月前上一次調查以來，大數(shù)據(jù)分析工具取得了穩(wěn)步進展；這表明試點項目和概念證明繼續(xù)轉變?yōu)樯a環(huán)境應用程序，41%的企業(yè)聲稱部署了一種生產應用程序，而上一次只有10%。
- 與所有主要的企業(yè)技術采用生命周期一樣，客戶部署軟件的能力受制于吸收消化復雜軟件的能力。
- 具體來說，阻礙內部部署型Hadoop更快發(fā)展的兩大限制因素是龐大的管理開銷和需要專門技能。
兩個隱含的重大影響造成了廠商號稱100%的增長與實際現(xiàn)狀之間出現(xiàn)脫節(jié)。
- 許多沒有使用的軟件堆積在客戶的“庫存”中――就像上世紀90年代中后期企業(yè)資源規(guī)劃（ERP）和企業(yè)互聯(lián)網基礎設施采用方面出現(xiàn)泡沫那樣；在前期收入少得多的訂閱軟件盛行的時代下，廠商可能竭力推銷用戶目前吃不消的單子，以期抵消直銷活動的高昂成本。
- 隱藏的挑戰(zhàn)，尤其是隨著Hadoop進入主流：由于管理和技能方面的開銷要求比較低，Hadoop即服務以及來自AWS、Azure和谷歌的云原生服務更容易“消費”。
概要
來自廠商和研究公司的夸大說法聲稱Hadoop廠商的收入增長率高達三位數(shù)；聲稱對參與大數(shù)據(jù)分析生態(tài)系統(tǒng)的另外許多企業(yè)來說，數(shù)字接近三位數(shù)。Wikibon的調查結果表明這些夸大說法與實際情況之間存在著脫節(jié)。這種脫節(jié)意味著企業(yè)客戶的軟件“庫存”越積越多。到某個時候，我們可能會看到庫存“修正”，企業(yè)會放緩采購，以便部署的系統(tǒng)開始趕上來。
從許多方面來看，Hadoop和大數(shù)據(jù)分析工具的采用與上世紀90年代中后期兩個超速發(fā)展的軟件市場的情況頗為相似。當時，ERP應用軟件（比如PeopleSoft）和企業(yè)互聯(lián)網基礎設施軟件（比如Broadvision）都出現(xiàn)了類似增長。但那時眾多企業(yè)無法同樣迅速地吸收消化軟件；我們的調查結果表明，現(xiàn)在它們同樣無法迅速吸收消化。
無論那時還是現(xiàn)在，管理和開發(fā)技能以及部署和運行新應用架構的操作流程無法以三位數(shù)高速增長。當初擔心遺留應用軟件受到千年蟲（Y2K）的影響，加快了ERP軟件的采購。而15年至20年前，生怕錯過互聯(lián)網革命為互聯(lián)網基礎設施起到了助推作用。同樣，我們認為，如今生怕錯過大數(shù)據(jù)分析革命也在促進采購。
除了這些需求方面的問題外，還有新的供應方面的問題。上世紀90年代中后期，企業(yè)軟件和商業(yè)模式通過銷售昂貴的軟件前期許可證，支付直銷團隊所需的極高昂的成本：公司每創(chuàng)收1美元，直銷方面至少要花0.5美元的成本。研發(fā)成本和利潤來自每年可續(xù)生的維護費，日益龐大的用戶群帶來了相當可觀的維護費。由于開源軟件唱主角，現(xiàn)在很少有前期許可證收入可以支付那些銷售和營銷開支。而按照會計原則，廠商又無法事先確認為時多年的訂閱收入單子。因而，廠商面臨更大的壓力，設法銷售大宗單子來支付高昂開支，可是客戶吃不消這種單子。反過來，廠商至少可以要求客戶支付這些采購費，所得收入支付部分銷售和營銷開支，即使廠商的報告利潤很低或者虧損。
調查方法概述
Wikibon對美國企業(yè)的300名從業(yè)人員進行了一次網上調查，這些企業(yè)已經部署了大數(shù)據(jù)分析項目，或者評估在2015年秋季開展大數(shù)據(jù)分析項目。這項調查是2014年針對同一群調查對象開展的一項調查的后續(xù)。許多問題一樣，那樣我們可以分析一段時間后的進展。我們對大數(shù)據(jù)分析下了籠統(tǒng)的定義，包括傳統(tǒng)的縱向擴展型關系數(shù)據(jù)庫管理系統(tǒng)（RDBMS）難以管理的技術和數(shù)據(jù)。想查看調查方法和調查對象概況的全面描述，請參閱文章末尾的“調查方法和調查對象”這個部分。
調查結果解讀
（在可能的情況下，我們將調查結果描述了相對2014年春季調查的百分比變化）
針對大數(shù)據(jù)分析的態(tài)度：認為大數(shù)據(jù)分析是競爭優(yōu)勢來源的企業(yè)多了6%。
許多企業(yè)相信，大數(shù)據(jù)分析工具對業(yè)務將至關重要，是一個新的競爭優(yōu)勢來源（52.1%），而不是主要用來補充現(xiàn)有的數(shù)據(jù)倉庫和商業(yè)智能工作負載（43.2%）。2014年春季，持有這兩種態(tài)度的調查對象比例相當。
圖1：針對大數(shù)據(jù)分析的態(tài)度（來源：Wikibon 2015）
大數(shù)據(jù)分析部署現(xiàn)狀：擁有至少一個生產環(huán)境應用程序的企業(yè)多了10%
試點項目和概念證明（POC）繼續(xù)穩(wěn)步成熟，進入到生產環(huán)境。企業(yè)正從部署的評估階段（2014年春季41%，2015年秋季32%）進入到至少將一個應用程序部署到生產環(huán)境的階段（2014年春季31%，2015年秋季41%）。這種轉變表明，企業(yè)在采用大數(shù)據(jù)分析方面取得穩(wěn)步進展。
圖2：部署狀況和成熟度（來源：Wikibon 2015）
大數(shù)據(jù)分析項目結果：相比18個月前，聲稱“取得成功”的企業(yè)多了4%
2015年春季聲稱取得成功的企業(yè)（44.6%）比2014年秋季（40.6%）多一點。雖然它們處于采用大數(shù)據(jù)分析工具的不同階段（評估階段、概念證明階段和生產階段），幾乎所有（98%）的企業(yè)聲稱，至少獲得了部分價值，覺得自己在往正確的方向前進。
與我們的假設相一致，大企業(yè)（員工數(shù)量超過5000人）聲稱取得成功的可能性比中小企業(yè)高出12%（50.7%比39%），大企業(yè)更有可能擁有足夠的技術技能。
角色不同，結果評價大不一樣。技術型人員（基礎設施管理員和大數(shù)據(jù)科學家）比業(yè)務人員（業(yè)務分析員和用戶）更有可能聲稱“取得成功”：54.1%比32.6%。我們將這22%的差異歸因于技術人員更有可能認為正常運轉的集群是成功。業(yè)務人員更有可能認為可用的、可信的庫（含有可付諸行動的分析結果）是成功。很顯然，業(yè)務用戶當中還有增長空間。
圖3：大數(shù)據(jù)分析項目的結果（來源：Wikibon 2015）
大數(shù)據(jù)分析的主要使用場合：IT操作支持和提取轉換加載（ELT）各自超過50%
IT部門常常部署新技術，支持自己的使用場合，以便獲得支持更廣泛的生產環(huán)境部署所需的技能。大數(shù)據(jù)分析工具似乎遵循這種模式。
最流行的應用程序以IT操作支持為中心，一半以上的企業(yè)提到了它（允許多選）。此外，這些應用程序中70%以上在生產環(huán)境。
這個選擇似乎類似大型互聯(lián)網服務公司當中的早期采用情況。它們使用Hadoop來分析日志文件和點擊流，以便管理系統(tǒng)、改善應用程序的功能特性。作為一種即開即用的提供類似功能的應用程序，Splunk大受歡迎，這可能與這個結果有著關系。
對大多數(shù)調查對象來說，ETL也是一種應用程序。這個結果與Hadoop“跨越鴻溝”的應用（比如數(shù)據(jù)湖）相一致，這種應用還卸載了來自數(shù)據(jù)倉庫的ETL處理任務。
混合操作型分析應用程序的部署狀況：部署到生產環(huán)境的企業(yè)比18個月前多了15%
使用大數(shù)據(jù)用于操作型/事務型生產應用程序的比率在2015年秋季相比2014年春季有所提高：66.3%比51.6%。相比之下，那些還沒有部署應用程序，但計劃在今后六個月部署的企業(yè)減少了13%，減至32%。
在過去18個月間，企業(yè)在將其中一個應用程序部署到生產環(huán)境方面取得了顯著進展。事務功能和分析功能的組合是部署方面出現(xiàn)如此大幅提升的一個顯著特點，這表明這一類新的應用程序會在將來得到廣泛采用。其中許多應用程序將屬于Wikibon研究人員認為的智能系統(tǒng)（Systems of Intelligence）。
圖4：混合事務型大數(shù)據(jù)分析應用程序的部署（來源：Wikibon 2015）
支持操作型大數(shù)據(jù)分析應用程序面臨的挑戰(zhàn)：近實時集成和總體性能
雖然生產環(huán)境下操作型大數(shù)據(jù)應用程序的數(shù)量可能在增長，但是讓所有組件適當?shù)貐f(xié)同運行的信心仍有待提高。重點是讓基本集成和操作性能都毫無問題。
IT從業(yè)人員和業(yè)務人員列出了一系列挑戰(zhàn)（可以多選）。這包括將分析工具以近實時方式集成到應用程序中，或者將來自操作型應用程序的數(shù)據(jù)饋送到分析工具；面對數(shù)據(jù)量龐大、讀/寫操作次數(shù)高以及并發(fā)用戶數(shù)量多的情形，保持應用程序性能。
如今，整合新的數(shù)據(jù)源和優(yōu)化算法是不大艱巨的挑戰(zhàn)。
圖5：成功部署混合事務型大數(shù)據(jù)分析應用程序面臨的幾大障礙（來源：Wikibon 2015）
Hadoop方面的使用、體驗和計劃
182位即61%的調查對象聲稱，所在企業(yè)使用了Hadoop。
管理開銷：客戶環(huán)境從單一集群增加到3個或更多個集群后，每個集群的管理員數(shù)量減少了一半。
只有一個集群的客戶聲稱，平均需要3.5名管理員；而擁有2個以上集群的客戶聲稱，數(shù)量減少到1.4名，因為他們更能充分利用稀缺的技能?？偟膩碚f，調查對象聲稱，每個集群需要2.2名管理員。
圖6：每個集群的管理員數(shù)量（來源：Wikibon 2015）
部署在Hadoop集群上的軟件
調查對象聲稱，平均近3個軟件工具部署在Hadoop集群上。最常被提到的工具是Cloudera Manager，達到32.4%，但Spark被提到的頻率幾乎一樣高，為29.7%。Hbase也有18.7%，而Hive低一點，為18.1%。大多數(shù)調查對象可能并不認為MapReduce是一種軟件工具，因為它的提及率相當?shù)汀?/p>
計劃在今后12個月將Hadoop用于生產環(huán)境
絕大多數(shù)調查對象聲稱，他們如今就在生產環(huán)境下使用Hadoop，或計劃在今后12個月內使用。
主要的應用程序（可以多選）
客戶分析應用程序（比如客戶流失和營銷活動）共同排名超過50%，這不足為奇。ETL跨越鴻溝的初使使用場合超過50%。欺詐檢測應用程序達到37%。
Hadoop方面的長期計劃
雖然認識到大數(shù)據(jù)分析對業(yè)務成功而言很重要，但是調查對象通常并未準備好擁抱Hadoop代替數(shù)據(jù)倉庫；45.6%的調查對象表示，Hadoop戰(zhàn)略與傳統(tǒng)的數(shù)據(jù)倉庫技術扮演同樣重要的角色，都獲得了投入。31.2%表示了類似的觀點，但是將Hadoop用于不大關鍵的應用程序。然而，13.2%將Hadoop用于代替?zhèn)鹘y(tǒng)的數(shù)據(jù)倉庫技術――或者獲得新的開支（6.6%），或者將目前用于傳統(tǒng)數(shù)據(jù)倉庫的一些開支實際上改而投入到Hadoop。
相對數(shù)據(jù)倉庫，大公司對于Hadoop部署所持的態(tài)度比小企業(yè)來得積極大膽，小企業(yè)更有可能認為Hadoop和傳統(tǒng)數(shù)據(jù)倉庫“扮演同樣重要的角色”。
圖7：相對數(shù)據(jù)倉庫的中長期戰(zhàn)略（來源：Wikibon 2015）
員工數(shù)量超過1000人的大企業(yè)（58.8%）比小企業(yè)更有可能擁抱“兩個角色同樣重要的”戰(zhàn)略，40.5%采用了“穩(wěn)步增加投入”戰(zhàn)略。相比大企業(yè)（31.4%），小企業(yè)（45%）往往將Hadoop主要用于“不大關鍵的分析工作負載”――顯得比較謹慎。
Hadoop方面的滿意度
滿意度比較高――10.4%聲稱他們只是“有點”滿意，只有1個調查對象聲稱“有點不滿意”。95%聲稱凈推薦分高于80%。
圖8：Hadoop方面的滿意度（來源：Wikibon 2015）
開源Hadoop發(fā)行版與商用Hadoop發(fā)行版：商用發(fā)行版的采用率隨生產部署一并增長
2014年春季到2015年秋季，出現(xiàn)了一股非常大的趨勢：不再依賴免費的Hadoop發(fā)行版，改用付費訂閱。隨著大數(shù)據(jù)分析工具變得更整合到操作型應用程序中，企業(yè)變得更依賴能為這些關鍵智能系統(tǒng)提供優(yōu)質工具和支持的廠商。員工數(shù)量超過10000人的公司中72%在使用收費發(fā)行版，而員工數(shù)量不到10000人的公司中只有64%使用收費發(fā)行版。然而，這兩類公司都從免費發(fā)行版向收費發(fā)行版轉變，轉變速度相似。
圖9：商用Hadoop發(fā)行版相對純開源發(fā)行版的采用（來源：Wikibon 2015）
相對Hadoop的Spark計劃和體驗：Spark部署于生產應用的步伐遠落后于Hadoop，卻被寄予厚望
Spark仍處于早期階段，只有6.9%的企業(yè)在生產環(huán)境中至少部署有一個Spark應用程序。然而，74.0%的企業(yè)在評估Spark，或者將Spark處于試點項目/概念證明階段。調查對象非?？春肧park在未來計劃中的地位。78%表示，他們預計Spark會取代一些原本放在Hadoop處理引擎（比如Hive）上的新工作負載。足足有20%的調查對象表示，他們預計Spark會取代原本放在Hadoop引擎上的相當多的新工作負載。
普及看好Spark，一方面可能是由于它仍處于蜜月期。部署到生產環(huán)境和規(guī)模擴大免不了會帶來初期困難，未來會更頻繁地出現(xiàn)。
圖10：Spark部署的成熟度（來源：Wikibon 2015）
一半以上的調查對象聲稱在使用Spark的SQL庫，Streaming稍落后于它，這不足為奇。四大庫得到廣泛使用，這表明許多應用程序其實在充分利用諸多庫之間日益集成這一點。
公有云方面的計劃
企業(yè)在大量使用公有云用于大數(shù)據(jù)分析――74%的調查對象稱，他們在云端處理一些生產工作。使用Hadoop和使用原生服務的企業(yè)一樣多。我們定義的原生服務以AWS服務為例，比如Data Pipeline、Kinesis、DynamoDB、Redshift，以及在谷歌去云平臺和微軟Azure上的對應服務。一些用戶聲稱這兩種方法都用。雖然2014年春季調查對象表述這個問題有點不一樣，但在我們的2015年調查中，公有云使用總體增長了5%。
圖11：大數(shù)據(jù)工作負載在公有云上的采用（來源：Wikibon 2015）
Hadoop不是一個產品，而是一個迅速發(fā)展的、創(chuàng)新的生態(tài)系統(tǒng)。其缺點是，管理開銷相當高，具體表現(xiàn)為需要新的專業(yè)技能。我們的一部分假設是，隨著Hadoop部署進入到主流，中小企業(yè)（員工數(shù)量不足5000人）會更傾向于將Hadoop部署到公有云。我們不僅預計部署到云的Hadoop其份額會增長，還預計原生云服務的份額也會增長。
采用Hadoop的大企業(yè)往往在公有云中處理比其他企業(yè)更多的生產工作，原生公有云服務的使用增長率與非Hadoop使用相當。我們認為，大企業(yè)擁有讓Hadoop走得更遠、進入到生產部署所需的技能，無論是部署到內部還是部署到云。我們預計，一段時間后，中小企業(yè)會將更多份額的工作負載部署到公有云，因為這對操作要求比較低。
公有云用戶提到這一點：數(shù)據(jù)已經在云端（58.0%）及/或公有云提供了操作簡單的優(yōu)點（53.8%）。44.5%的用戶認為，提供商能為自己提供一套更好的工具，可以更輕松地構建端到端應用程序。
圖12：使用公有云的幾大原因（來源：Wikibon 2015）
IT用戶與業(yè)務用戶在當前和未來公有云計劃方面的脫節(jié)
業(yè)務分析員和用戶（36.1%）聲稱使用原生服務的程度高于基礎設施管理員和數(shù)據(jù)科學家（30.6%）。這種不大的差異可能緣自這個事實：企業(yè)的業(yè)務部門在使用公有云，而IT部門甚至一無所知。我們預計這種差異會拉大。
技術人員更有可能（22.4%）聲稱沒有或不會將公有云用于其大數(shù)據(jù)分析項目。另一方面，業(yè)務人員更積極使用公有云（只有13.6%表示沒有或不會使用公有云）。這可能是由于技術人員偏向“我們自己搞”。
調查方法和調查對象
2015年秋季，Wikibon對美國的303名大數(shù)據(jù)分析從業(yè)人員進行了網上調查。調查一開始就詢問調查對象對于大數(shù)據(jù)分析的了解程度?；卮饘Υ髷?shù)據(jù)分析工具至少“有點熟悉”或“非常熟悉”的調查對象被要求繼續(xù)進行調查。
出于這次調查的需要，我們將大數(shù)據(jù)分析項目定義為：
- 利用非傳統(tǒng)數(shù)據(jù)管理工具和技術，比如Hadoop、NoSQL或大規(guī)模并行處理（MPP）分析數(shù)據(jù)庫及/或……
- 涉及分析多種結構化及/或非結構化數(shù)據(jù)，比如點擊流、文本、日志文件和社交媒體數(shù)據(jù)
- 出于這次調查的需要，大數(shù)據(jù)項目并不包括只涉及使用關系數(shù)據(jù)庫或其他“傳統(tǒng)數(shù)據(jù)管理技術”的項目――這些技術用來收集、處理、存儲和分析與CRM和ERP應用軟件等遺留系統(tǒng)有關的結構化數(shù)據(jù)。
調查進一步請調查對象明確企業(yè)所在行業(yè)、企業(yè)中的一般角色以及在大數(shù)據(jù)分析項目中的具體角色、企業(yè)員工數(shù)量和年收入。Wikibon得到了廣泛的企業(yè)類型，主要有IT技術提供商（21%）、制造企業(yè)（18%）、醫(yī)療保健企業(yè)（14%）、銀行及金融企業(yè)（11%）以及零售企業(yè)（10%）。
中等規(guī)模企業(yè)是指年收入在1億至5億美元之間，員工數(shù)量在1000人至5000人之間。23%的企業(yè)其員工數(shù)量在5000人至9999人之間，14%的員工數(shù)量超過10000人。
調查對象的職位級別從經理到高層主管不等。調查對象還被要求列出與大數(shù)據(jù)分析項目有關的角色，為此要從下列角色當中選一個：
- 19%的人是業(yè)務用戶（即業(yè)務部門專業(yè)人員，使用儀表板及其他可視化方式了解大數(shù)據(jù)）。
- 24%的人是業(yè)務分析員（即部門高級用戶，使用Excel和SPSS等工具來分析各個大數(shù)據(jù)集）。
- 13%是應用程序開發(fā)人員（即構建充分利用預測模型和算法等大數(shù)據(jù)分析工具的應用程序的開發(fā)人員）。
- 16%是數(shù)據(jù)科學家（即高級分析專業(yè)人員，針對大量“混亂”的大數(shù)據(jù)進行復雜分析，并開發(fā)預測模型/算法）。
- 28%是基礎設施管理員（即數(shù)據(jù)中心專業(yè)人員，管理與Hadoop、NoSQL數(shù)據(jù)庫及支持大數(shù)據(jù)分析項目的其他技術有關的基礎設施和硬件）。
從調查對象概況以及他們對大數(shù)據(jù)分析的了解來看，很顯然，因而獲得的分析表明了大數(shù)據(jù)分析工具在早期采用者當中的現(xiàn)狀。這是研究這個課題的必然結果。由于大數(shù)據(jù)分析技術和方法仍相對不成熟，那些在評估或已部署了大數(shù)據(jù)分析項目的企業(yè)和從業(yè)人員顯然是早期采用者。各位在考慮調查結果時，需要牢記這一個重要信息。
Wikibon將來自2014年春季研究的調查數(shù)據(jù)與2015年秋季的調查結果在許多問題上作了一番比較。我們從2014年使用的同一來源處獲得了2015年的樣本列表，所以我們認為調查對象在這兩年的答復差異相當程度上反映了18個月來大數(shù)據(jù)用戶在態(tài)度、計劃和體驗等方面發(fā)生的變化。
新聞來源：Wikibon｜云頭條編譯
End.