大數(shù)據(jù)思考之一

任何一個網(wǎng)站的數(shù)據(jù)都是人們互聯(lián)網(wǎng)行為數(shù)據(jù)的很小的一個子集，無論這個子集多么全面，分析多么深入，都是子集，不是全集。對于企業(yè)來講，競爭對手的數(shù)據(jù)價值遠(yuǎn)遠(yuǎn)超過自己網(wǎng)站數(shù)據(jù)的價值，從量級上，對于所有公司都一樣，自己擁有的數(shù)據(jù)遠(yuǎn)遠(yuǎn)小于全集數(shù)據(jù)。看起來的全數(shù)據(jù)恰恰是殘缺數(shù)據(jù)。

大數(shù)據(jù)思考之二

數(shù)據(jù)量的大幅增加會造成結(jié)果的不準(zhǔn)確，來源不同的信息混雜會加大數(shù)據(jù)的混亂程度。研究發(fā)現(xiàn)：巨量數(shù)據(jù)集和細(xì)顆粒度的測量會導(dǎo)致出現(xiàn)“錯誤發(fā)現(xiàn)”的風(fēng)險增加。那種認(rèn)為“假設(shè)、檢驗、驗證的科學(xué)方法已經(jīng)過時”的論調(diào)，正是大數(shù)據(jù)時代的混亂與迷茫，人們索性擁抱凱文凱利所稱的混亂。

大數(shù)據(jù)思考之三

互聯(lián)網(wǎng)用戶的基本特征、消費行為、上網(wǎng)行為、渠道偏好、行為喜好、生活軌跡與位置等，反映用戶的基本行為規(guī)律。體系完整是所有分析性工作的第一步，完整的框架甚至勝過高深的模型。人類的認(rèn)識最大的危險是不顧后果的運用局部知識。如果只關(guān)心自己網(wǎng)站數(shù)據(jù)，其分析基礎(chǔ)必然是斷裂數(shù)據(jù)。

大數(shù)據(jù)思考之四

現(xiàn)在談到大數(shù)據(jù)，基本有四個混亂觀念：第一，大數(shù)據(jù)是全數(shù)據(jù)，忽視甚至蔑視抽樣；第二，連續(xù)數(shù)據(jù)就是大數(shù)據(jù)；第三，數(shù)據(jù)量級大是大數(shù)據(jù)；第四，數(shù)據(jù)量大好于量小。對應(yīng)的是：抽樣數(shù)據(jù)只要抽樣合理，結(jié)論準(zhǔn)確；連續(xù)只是一個數(shù)據(jù)結(jié)構(gòu)；大量級的噪音會得出錯誤結(jié)論；大小與價值關(guān)系不大。

大數(shù)據(jù)思考之五

大數(shù)據(jù)不是新事物，天氣、地震、量子物理、基因、醫(yī)學(xué)等都是，借鑒他們的方法有益。他們用抽樣調(diào)查。互聯(lián)網(wǎng)數(shù)據(jù)挖掘方法論也如此，不同的是更難，因為人的復(fù)雜性。既然是關(guān)于人的研究就需應(yīng)用所有研究人的方法梳理大數(shù)據(jù)。只要懂編程、懂調(diào)動數(shù)據(jù)的人就可以做大數(shù)據(jù)挖掘的說法是謬誤。

大數(shù)據(jù)思考之六

大數(shù)據(jù)分析中分析構(gòu)架為第一要著，算法也極為關(guān)鍵，在最近的大數(shù)據(jù)處理中發(fā)現(xiàn)：解析網(wǎng)址后的分類是是一個難點，主要有幾個方面，一個千萬人的網(wǎng)絡(luò)行為數(shù)據(jù)一天產(chǎn)生的域名大約50000個，雖然有一些算法，但是混淆、難以辨認(rèn)、連續(xù)更新與判別是分析中的重要步驟，簡單分易，精細(xì)分難。

大數(shù)據(jù)思考之七

算法中，只要包含文本，就必然有兩個關(guān)鍵基礎(chǔ)技術(shù)：關(guān)鍵詞（字典）與語義分析，關(guān)鍵詞技術(shù)成熟，語義技術(shù)是瓶頸，中文語義太難，能解決50%的團(tuán)隊就不錯了，尤其是社交語言，比如＂真可以?。⒑谓?？需上下文。希望風(fēng)投們多鼓勵此類基礎(chǔ)技術(shù)研發(fā)，突破此瓶頸是大數(shù)據(jù)挖掘的關(guān)鍵點之一。

大數(shù)據(jù)思考之八

社交數(shù)據(jù)挖掘中，很多團(tuán)隊集中在運用推特瀑布思路，就是可視化技術(shù)，其構(gòu)圖精美值得稱道，問題是，其理論還是沿用三十多年前的社會計量法，概念還是局限在點、橋、意見領(lǐng)袖等小群體分析，不適合巨網(wǎng)，突破可視化框架的社交分析需要理論探索和實踐努力。

大數(shù)據(jù)思考之九

移動互聯(lián)網(wǎng)對社會生活的影響本質(zhì)是時間與空間的解構(gòu)，分析這類大數(shù)據(jù)需要把握這兩點，如果僅僅分析app和網(wǎng)絡(luò)使用行為，那么分析上就失去了移動的意義。單純看流量、點擊率等簡單數(shù)字無法解決復(fù)雜的營銷問題。不創(chuàng)新的延續(xù)原有思維模式是人類思考惰性。