新聞中心
PRESS CENTENR作為數(shu)據(ju)分析(xi)師，無論最(zui)初的(de)職業(ye)定(ding)位(wei)方向是技術還是業(ye)務，最(zui)終發到一定(ding)階段后都會承(cheng)擔(dan)數(shu)據(ju)管(guan)理的(de)角色(se)。因此，一個具有較高層次的(de)數(shu)據(ju)分析(xi)師需要具備完整的(de)知識結構。
1. 數據(ju)采集
了解(jie)數(shu)據采集的(de)(de)意義(yi)在于真(zhen)正了解(jie)數(shu)據的(de)(de)原始面貌(mao)，包括數(shu)據產生的(de)(de)時間、條件(jian)、格式、內容、長度、限制條件(jian)等(deng)。這會幫助數(shu)據分(fen)析師更有針對(dui)性的(de)(de)控制數(shu)據生產和采集過程，避免由于違反數(shu)據采集規則導致的(de)(de)數(shu)據問題;同時，對(dui)數(shu)據采集邏(luo)輯的(de)(de)認識增加了數(shu)據分(fen)析師對(dui)數(shu)據的(de)(de)理解(jie)程度，尤其是數(shu)據中的(de)(de)異常變(bian)化。比如(ru)：
Omniture中(zhong)的Prop變量長度只有100個字符(fu)，在(zai)數據(ju)采集部署過程中(zhong)就不能把含有大量中(zhong)文描述的文字賦值給Prop變量(超(chao)過的字符(fu)會(hui)被截斷)。
在(zai)(zai)Webtrekk323之前(qian)的Pixel版本，單條信息(xi)(xi)(xi)默認最多(duo)(duo)只能發送不超(chao)過(guo)2K的數(shu)據。當頁面含有(you)過(guo)多(duo)(duo)變(bian)量(liang)或(huo)變(bian)量(liang)長度有(you)超(chao)出(chu)限定的情況下，在(zai)(zai)保持數(shu)據收集的需求(qiu)下，通常(chang)的解決方(fang)案是采用多(duo)(duo)個sendinfo方(fang)法分條發送;而在(zai)(zai)325之后的Pixel版本，單條信息(xi)(xi)(xi)默認最多(duo)(duo)可以發送7K數(shu)據量(liang)，非常(chang)方(fang)便(bian)的解決了(le)代(dai)碼部署中單條信息(xi)(xi)(xi)過(guo)載的問題。(Webtrekk基于請求(qiu)量(liang)付費(fei)，請求(qiu)量(liang)越少，費(fei)用越低)。
當用戶在(zai)離線(xian)狀態下使用APP時(shi)(shi)，數(shu)據(ju)由(you)于(yu)無法聯(lian)網(wang)而發(fa)出，導致正常時(shi)(shi)間(jian)(jian)內的(de)數(shu)據(ju)統(tong)計分析(xi)延遲。直到該(gai)設備下次聯(lian)網(wang)時(shi)(shi)，數(shu)據(ju)才能被(bei)發(fa)出并歸入當時(shi)(shi)的(de)時(shi)(shi)間(jian)(jian)。這就產生了不同時(shi)(shi)間(jian)(jian)看(kan)相同歷史時(shi)(shi)間(jian)(jian)的(de)數(shu)據(ju)時(shi)(shi)會(hui)發(fa)生數(shu)據(ju)有(you)出入。
在數(shu)(shu)(shu)據(ju)(ju)采集(ji)階段，數(shu)(shu)(shu)據(ju)(ju)分析師(shi)需要更(geng)多的(de)了解(jie)數(shu)(shu)(shu)據(ju)(ju)生產和(he)采集(ji)過(guo)程(cheng)中(zhong)的(de)異常(chang)情況，如此才能(neng)更(geng)好的(de)追本溯源。另外(wai)，這也能(neng)很大程(cheng)度上(shang)避免“垃圾數(shu)(shu)(shu)據(ju)(ju)進導致垃圾數(shu)(shu)(shu)據(ju)(ju)出”的(de)問(wen)題。
2.數據存儲
無論數(shu)據(ju)存儲于云端還是本地(di)，數(shu)據(ju)的存儲不只(zhi)是我們看到(dao)的數(shu)據(ju)庫那么簡單。比(bi)如：
數據存儲(chu)系(xi)統是(shi)MySql、Oracle、SQL Server還是(shi)其他系(xi)統。
數據倉庫(ku)結(jie)構及(ji)各庫(ku)表如何關聯，星型、雪花(hua)型還(huan)是其他。
生產數據(ju)庫接收數據(ju)時是否有一定規則(ze)，比如只接收特定類(lei)型字(zi)段。
生產數據庫面(mian)對異常值如何處理，強制(zhi)轉換(huan)、留空還是返回錯誤。
生產數據(ju)庫及數據(ju)倉庫系統如何存儲數據(ju)，名稱、含義、類型(xing)、長度、精度、是否可為空、是否唯一、字符編(bian)碼、約(yue)束條件規則是什么(me)。
接觸到的數據(ju)是(shi)原始(shi)數據(ju)還是(shi)ETL后的數據(ju)，ETL規(gui)則是(shi)什么。
數(shu)據倉庫(ku)數(shu)據的更新(xin)更新(xin)機制是(shi)什么，全量(liang)更新(xin)還是(shi)增量(liang)更新(xin)。
不同(tong)數(shu)據庫和庫表之間的同(tong)步規則是(shi)什(shen)么(me)，哪些因素會造成數(shu)據差異，如何(he)處理差異的。
在數(shu)(shu)據(ju)(ju)(ju)存儲(chu)階段，數(shu)(shu)據(ju)(ju)(ju)分(fen)析師需(xu)要了(le)解數(shu)(shu)據(ju)(ju)(ju)存儲(chu)內部的工作(zuo)機制和(he)流程(cheng)，最(zui)核心的因素(su)是(shi)(shi)在原始數(shu)(shu)據(ju)(ju)(ju)基礎上經過(guo)哪些加(jia)工處理，最(zui)后得到了(le)怎樣的數(shu)(shu)據(ju)(ju)(ju)。由于(yu)數(shu)(shu)據(ju)(ju)(ju)在存儲(chu)階段是(shi)(shi)不斷動(dong)態變(bian)化(hua)和(he)迭代更新的，其及(ji)時性(xing)、完整性(xing)、有效(xiao)性(xing)、一致(zhi)性(xing)、準確性(xing)很多時候由于(yu)軟硬件、內外部環境問題無法保(bao)證，這些都會導致(zhi)后期數(shu)(shu)據(ju)(ju)(ju)應用(yong)問題。
3.數據提取
數據(ju)提取(qu)是將(jiang)數據(ju)取(qu)出(chu)的(de)過程(cheng)，數據(ju)提取(qu)的(de)核(he)心環(huan)節是從哪取(qu)、何時(shi)取(qu)、如何取(qu)。
從哪取(qu)，數據(ju)(ju)來源——不同的(de)數據(ju)(ju)源得到(dao)的(de)數據(ju)(ju)結果未必(bi)一(yi)致。
何時(shi)取，提取時(shi)間(jian)——不同時(shi)間(jian)取出來的數據(ju)結果(guo)未必一致(zhi)。
如何取，提取規(gui)則(ze)——不同提取規(gui)則(ze)下的數(shu)據(ju)結果(guo)很難一致。
在(zai)數據(ju)(ju)提取階段，數據(ju)(ju)分析(xi)師首先需要具備數據(ju)(ju)提取能(neng)力。常用(yong)的(de)Select From語句是(shi)SQL查詢和提取的(de)必備技能(neng)，但即使(shi)是(shi)簡單(dan)的(de)取數工(gong)作也有不(bu)同層次(ci)。
第(di)(di)一層(ceng)(ceng)是從單張數(shu)據庫中按條(tiao)件(jian)提取數(shu)據的能力，where是基(ji)本(ben)的條(tiao)件(jian)語句(ju);第(di)(di)二層(ceng)(ceng)是掌握跨庫表提取數(shu)據的能力，不同的join有不同的用法;第(di)(di)三層(ceng)(ceng)是優化(hua)(hua)SQL語句(ju)，通過優化(hua)(hua)嵌套、篩選的邏輯層(ceng)(ceng)次(ci)和(he)遍歷次(ci)數(shu)等(deng)，減少個人時間浪費和(he)系(xi)統資源消耗(hao)。
其次是(shi)理解業(ye)務需求的(de)能(neng)力，比如業(ye)務需要“銷售額”這個(ge)字(zi)段(duan)，相關字(zi)段(duan)至少有(you)產(chan)品(pin)銷售額和(he)(he)產(chan)品(pin)訂單(dan)金額，其中的(de)差(cha)別(bie)在于是(shi)否含優惠券、運費(fei)等折扣和(he)(he)費(fei)用。包含該因(yin)素即是(shi)訂單(dan)金額，否則(ze)就是(shi)產(chan)品(pin)單(dan)價×數量的(de)產(chan)品(pin)銷售額。
4.數據挖掘
數(shu)(shu)據挖掘是面對海(hai)量數(shu)(shu)據時進行數(shu)(shu)據價(jia)值(zhi)提煉的(de)關(guan)鍵(jian)，以(yi)下(xia)是算法(fa)選擇的(de)基本原則(ze)：
沒有(you)最好的算法(fa)，只有(you)最適合的算法(fa)，算法(fa)選擇(ze)的原(yuan)則是(shi)兼具準確性、可操作性、可理解性、可應用(yong)性。
沒有(you)一種(zhong)算(suan)法(fa)能解決所有(you)問(wen)(wen)題(ti)，但精通一門算(suan)法(fa)可以解決很(hen)多問(wen)(wen)題(ti)。
挖(wa)掘算法(fa)最難的是算法(fa)調優，同一(yi)種算法(fa)在(zai)不同場景下的參數設定相同，實踐是獲(huo)得調優經驗的重要途徑。
在數據挖(wa)(wa)掘階段，數據分析(xi)師要掌握數據挖(wa)(wa)掘相關能(neng)力(li)。一是(shi)數據挖(wa)(wa)掘、統(tong)計學、數學基本原理和(he)常(chang)識;二是(shi)熟練使用(yong)(yong)一門數據挖(wa)(wa)掘工具，Clementine、SAS或R都是(shi)可(ke)選項(xiang)，如果是(shi)程序(xu)出身(shen)也(ye)可(ke)以選擇編(bian)程實現;三是(shi)需要了解常(chang)用(yong)(yong)的(de)數據挖(wa)(wa)掘算法以及每(mei)種算法的(de)應用(yong)(yong)場景和(he)優劣差異點。
5.數據分析
數據(ju)分析相對(dui)于數據(ju)挖(wa)掘(jue)(jue)更多(duo)的(de)(de)是偏向(xiang)業(ye)務應用和解讀，當數據(ju)挖(wa)掘(jue)(jue)算(suan)法(fa)得出結(jie)論后，如何解釋算(suan)法(fa)在結(jie)果(guo)、可信度、顯著(zhu)程度等方面對(dui)于業(ye)務的(de)(de)實(shi)際意(yi)義，如何將挖(wa)掘(jue)(jue)結(jie)果(guo)反饋到業(ye)務操作過程中便(bian)于業(ye)務理解和實(shi)施是關鍵(jian)。
6.數據展現
數據(ju)展現即數據(ju)可(ke)視化的部分(fen)，數據(ju)分(fen)析(xi)師如何把數據(ju)觀點展示給業務的過(guo)程。數據(ju)展現除遵循各公司統一規范原則(ze)外，具(ju)體(ti)形式還要根據(ju)實(shi)際(ji)需(xu)求和場景而定。基本素質(zhi)要求如下：
工具(ju):PPT、Excel、Word甚至郵件(jian)都(dou)是不錯的展(zhan)現工具(ju)，任(ren)意一個(ge)工具(ju)用好都(dou)很強(qiang)大。
形式:圖文并(bing)茂的基本(ben)原則更易于理(li)解，生動(dong)(dong)、有趣、互動(dong)(dong)、講故事都是(shi)加分項。
原則:領(ling)導層(ceng)喜(xi)歡讀圖、看趨勢(shi)、要結論，執行(xing)層(ceng)歡看數、讀文字、看過程。
場(chang)景(jing):大型會議(yi)PPT最合適，匯報(bao)說明Word最實(shi)用，數(shu)據較多時Excel更方便(bian)。
最重要一點，數(shu)據展現永遠輔助于數(shu)據內(nei)容(rong)，有價值的數(shu)據報告才是關鍵。
7.數據應用
數據(ju)應用(yong)是數據(ju)具有落(luo)地價值的直接體現，這個過程需要數據(ju)分析師具備數據(ju)溝通能力(li)、業務推動能力(li)和項目工作能力(li)。
數(shu)據溝通能力。深入淺出的(de)數(shu)據報告(gao)、言簡(jian)意賅的(de)數(shu)據結論(lun)更利于業(ye)務理解和(he)接受，打比方(fang)、舉例子都是非常實用的(de)技巧。
業務(wu)(wu)推動能(neng)力(li)。在業務(wu)(wu)理解數據的(de)基礎上，推動業務(wu)(wu)落(luo)地(di)實現數據建(jian)議。從業務(wu)(wu)最(zui)(zui)(zui)重(zhong)要、最(zui)(zui)(zui)緊急、最(zui)(zui)(zui)能(neng)產生(sheng)效果的(de)環(huan)節開始是個好方法，同時(shi)要考慮(lv)到業務(wu)(wu)落(luo)地(di)的(de)客(ke)觀(guan)(guan)環(huan)境，即好的(de)數據結論需要具備(bei)客(ke)觀(guan)(guan)落(luo)地(di)條(tiao)件。
項目(mu)(mu)(mu)工作能(neng)力。數據(ju)項目(mu)(mu)(mu)工作是循序(xu)漸進的(de)過程，無論是一個數據(ju)分析項目(mu)(mu)(mu)還(huan)是數據(ju)產品項目(mu)(mu)(mu)，都需要數據(ju)分析師具備計(ji)劃(hua)、領導(dao)、組織(zhi)、控制的(de)項目(mu)(mu)(mu)工作能(neng)力。
本文由信息化解(jie)決方案-城(cheng)銀科技：chukouyindu.com
上一篇： 數字化移動互聯網運營里的商業秘密
下一篇： 2016年互聯網行業十大預測
