大數(shù)據(jù)思考之一

任何一個網站的數(shù)據(jù)都是人們互聯(lián)網行為數(shù)據(jù)的很小的一個子集，無論這個子集多么全面，分析多么深入，都是子集，不是全集。對于企業(yè)來講，競爭對手的數(shù)據(jù)價值遠遠超過自己網站數(shù)據(jù)的價值，從量級上，對于所有公司都一樣，自己擁有的數(shù)據(jù)遠遠小于全集數(shù)據(jù)。看起來的全數(shù)據(jù)恰恰是殘缺數(shù)據(jù)。

大數(shù)據(jù)思考之二

數(shù)據(jù)量的大幅增加會造成結果的不準確，來源不同的信息混雜會加大數(shù)據(jù)的混亂程度。研究發(fā)現(xiàn)：巨量數(shù)據(jù)集和細顆粒度的測量會導致出現(xiàn)“錯誤發(fā)現(xiàn)”的風險增加。那種認為“假設、檢驗、驗證的科學方法已經過時”的論調，正是大數(shù)據(jù)時代的混亂與迷茫，人們索性擁抱凱文凱利所稱的混亂。

大數(shù)據(jù)思考之三

互聯(lián)網用戶的基本特征、消費行為、上網行為、渠道偏好、行為喜好、生活軌跡與位置等，反映用戶的基本行為規(guī)律。體系完整是所有分析性工作的第一步，完整的框架甚至勝過高深的模型。人類的認識最大的危險是不顧后果的運用局部知識。如果只關心自己網站數(shù)據(jù)，其分析基礎必然是斷裂數(shù)據(jù)。

大數(shù)據(jù)思考之四

現(xiàn)在談到大數(shù)據(jù)，基本有四個混亂觀念：第一，大數(shù)據(jù)是全數(shù)據(jù)，忽視甚至蔑視抽樣；第二，連續(xù)數(shù)據(jù)就是大數(shù)據(jù)；第三，數(shù)據(jù)量級大是大數(shù)據(jù)；第四，數(shù)據(jù)量大好于量小。對應的是：抽樣數(shù)據(jù)只要抽樣合理，結論準確；連續(xù)只是一個數(shù)據(jù)結構；大量級的噪音會得出錯誤結論；大小與價值關系不大。

大數(shù)據(jù)思考之五

大數(shù)據(jù)不是新事物，天氣、地震、量子物理、基因、醫(yī)學等都是，借鑒他們的方法有益。他們用抽樣調查?；ヂ?lián)網數(shù)據(jù)挖掘方法論也如此，不同的是更難，因為人的復雜性。既然是關于人的研究就需應用所有研究人的方法梳理大數(shù)據(jù)。只要懂編程、懂調動數(shù)據(jù)的人就可以做大數(shù)據(jù)挖掘的說法是謬誤。

大數(shù)據(jù)思考之六

大數(shù)據(jù)分析中分析構架為第一要著，算法也極為關鍵，在最近的大數(shù)據(jù)處理中發(fā)現(xiàn)：解析網址后的分類是是一個難點，主要有幾個方面，一個千萬人的網絡行為數(shù)據(jù)一天產生的域名大約50000個，雖然有一些算法，但是混淆、難以辨認、連續(xù)更新與判別是分析中的重要步驟，簡單分易，精細分難。

大數(shù)據(jù)思考之七

算法中，只要包含文本，就必然有兩個關鍵基礎技術：關鍵詞（字典）與語義分析，關鍵詞技術成熟，語義技術是瓶頸，中文語義太難，能解決50%的團隊就不錯了，尤其是社交語言，比如＂真可以?。⒑谓?？需上下文。希望風投們多鼓勵此類基礎技術研發(fā)，突破此瓶頸是大數(shù)據(jù)挖掘的關鍵點之一。

大數(shù)據(jù)思考之八

社交數(shù)據(jù)挖掘中，很多團隊集中在運用推特瀑布思路，就是可視化技術，其構圖精美值得稱道，問題是，其理論還是沿用三十多年前的社會計量法，概念還是局限在點、橋、意見領袖等小群體分析，不適合巨網，突破可視化框架的社交分析需要理論探索和實踐努力。

大數(shù)據(jù)思考之九

移動互聯(lián)網對社會生活的影響本質是時間與空間的解構，分析這類大數(shù)據(jù)需要把握這兩點，如果僅僅分析app和網絡使用行為，那么分析上就失去了移動的意義。單純看流量、點擊率等簡單數(shù)字無法解決復雜的營銷問題。不創(chuàng)新的延續(xù)原有思維模式是人類思考惰性。