如果你有一個(gè)目標(biāo)，想獲得所有這些數(shù)據(jù)的可操作的見(jiàn)解，并一直在收集。那么，你如何確定模型的數(shù)據(jù)，以便實(shí)際上可以獲得這些見(jiàn)解，并回答你的業(yè)務(wù)問(wèn)題？你的計(jì)劃。當(dāng)規(guī)劃階段不充分或不完全，其結(jié)果是可怕的。那么分析和性能、數(shù)據(jù)完整性和安全性的問(wèn)題接踵而至，將會(huì)使日常的維護(hù)和發(fā)展的成本達(dá)到了不必要的水平。
在這篇文章中，介紹了人們?cè)跀?shù)據(jù)準(zhǔn)備分析建模時(shí)出現(xiàn)的一些常見(jiàn)的錯(cuò)誤。如果被忽視，這些錯(cuò)誤可能會(huì)阻礙你的分析，并影響你的見(jiàn)解。
讓我們從使用的工具或技術(shù)方面避免三種常見(jiàn)的數(shù)據(jù)建模的錯(cuò)誤開(kāi)始，然后再到OLAP多維數(shù)據(jù)集和傳統(tǒng)的BI平臺(tái)上工作時(shí)大多遇到的4個(gè)問(wèn)題。
避免常見(jiàn)的建模錯(cuò)誤
（1）開(kāi)始實(shí)施時(shí)沒(méi)有明確的行動(dòng)計(jì)劃
當(dāng)涉及到的分析，如數(shù)據(jù)倉(cāng)庫(kù)或Elasticube建模數(shù)據(jù)資源，至關(guān)重要的是要規(guī)劃出它的目標(biāo)是什么。有幾個(gè)原因，但主要的主題是，你不能有效地利用您的分析資源，如果你沒(méi)有為他們的目標(biāo)。設(shè)計(jì)一個(gè)數(shù)據(jù)模型，將允許企業(yè)用戶進(jìn)行調(diào)查，如網(wǎng)絡(luò)流量和選擇，如為了分析產(chǎn)品銷售模型，網(wǎng)絡(luò)流量和選擇的價(jià)格將遠(yuǎn)遠(yuǎn)不同。
最好的做法是為每個(gè)計(jì)劃運(yùn)行分析領(lǐng)域進(jìn)行規(guī)劃，設(shè)計(jì)，并分配資源。這應(yīng)該在商業(yè)智能（BI）項(xiàng)目規(guī)劃階段和全面的需求獲取過(guò)程中完成。當(dāng)談到實(shí)施更改分析目標(biāo)時(shí)，就會(huì)發(fā)現(xiàn)在性能，安全性和可行性的明顯改善。
將過(guò)多的數(shù)據(jù)包括到一個(gè)資源這是可能的，采用傳統(tǒng)的工具可能會(huì)導(dǎo)致查詢時(shí)間和分析慢下來(lái)；但即使采用SiSense這樣一個(gè)平臺(tái)，優(yōu)化那些龐大而不同的數(shù)據(jù)集性能時(shí)，仍然需要小心避免存儲(chǔ)問(wèn)題，數(shù)據(jù)復(fù)制，以及不必要的開(kāi)銷。在另一方面，沒(méi)有包括所有必要的數(shù)據(jù)來(lái)回答你的業(yè)務(wù)目標(biāo)中列出的問(wèn)題，這是更糟糕的。
這一步的規(guī)劃將使你識(shí)別分析模型的總體目標(biāo)，并確保正確的數(shù)據(jù)，包括每個(gè)資源。
（2）沒(méi)有充分使用代理鍵
當(dāng)分析來(lái)自多個(gè)來(lái)源的數(shù)據(jù)時(shí)，確保數(shù)據(jù)具有唯一標(biāo)識(shí)符的一種流行的策略是提供代理鍵。然而，這并不總是必要的，或選擇使用替代密鑰是一種良好的做法。很多時(shí)候，數(shù)據(jù)有自然鍵（數(shù)據(jù)是一個(gè)唯一的值），而不用替代。這些值，如客戶的ID，社會(huì)安全號(hào)碼，或已經(jīng)在使用的交易數(shù)據(jù)作為主密鑰的復(fù)合鍵，是穩(wěn)定的，足以保留所有的基本密鑰需要的特性。
在這里，有幾點(diǎn)要牢記：代理鍵不應(yīng)該與數(shù)據(jù)有關(guān)系。也就是說(shuō)，它不應(yīng)該受業(yè)務(wù)規(guī)則的限制。這些規(guī)則可以隨著時(shí)間的推移而改變，并呈現(xiàn)以前的唯一的值。
代理鍵不應(yīng)該的數(shù)據(jù)的關(guān)系。也就是說(shuō)，它不應(yīng)該受業(yè)務(wù)規(guī)則。這些規(guī)則可以隨時(shí)間改變和呈現(xiàn)先前唯一值非唯一。
主鍵應(yīng)該是相當(dāng)緊湊，大的，復(fù)雜的，3個(gè)或更多個(gè)字段的組合鍵可能是麻煩的。如果自然鍵候選者是緊湊和穩(wěn)定的唯一值，這可能沒(méi)有理由添加代理鍵。
當(dāng)使用代理鍵，計(jì)劃系統(tǒng)總是使用類似的技術(shù)生成唯一值，UUID，GUID，或max()+1。這將確保任何代理鍵確實(shí)是唯一的。
代理鍵存在某一行標(biāo)記獨(dú)特而不提供業(yè)務(wù)內(nèi)容。這是他們提供的價(jià)值。它們不應(yīng)該被用于查詢，并顯示給終端用戶。如果是這樣，你現(xiàn)在已經(jīng)引入了一個(gè)業(yè)務(wù)內(nèi)容，不應(yīng)存在的數(shù)據(jù)的關(guān)系。重新考慮你的模型和查詢。
（3）不當(dāng)?shù)拿麡?biāo)準(zhǔn)
如果命名標(biāo)準(zhǔn)不當(dāng)，可能會(huì)影響與任何數(shù)據(jù)相關(guān)的活動(dòng)。這是規(guī)劃分析資源的數(shù)據(jù)模型的一個(gè)重要步驟。跳過(guò)這一步可能會(huì)導(dǎo)致很多不必要的麻煩和挫折。來(lái)自多個(gè)源的匯集數(shù)據(jù)時(shí)，這是特別真實(shí)。
數(shù)據(jù)的主要基礎(chǔ)是一致的。這應(yīng)該擴(kuò)展到所提供的表、列、約束、措施等的名稱，以遵循一個(gè)標(biāo)準(zhǔn)的命名約定，其好處變得非常迅速。如果你試圖創(chuàng)建分析的查詢，但你的表和措施在他們的名字后面沒(méi)有任何邏輯，這將很難遵循。例如，如果你有這些表：
Production_MaterialsCosts
productionMachinesMaterialVendors
它可能是困難的，但并不是不可能的，知道這些是如何標(biāo)記的，或是他們是什么，而不是每一次尋找他們。在數(shù)據(jù)模型中有一致性要更容易得多。這可能看起來(lái)像：
Production_MaterialsMaterial_Vendors
Production_MachinesMaterial_Costs
這是一個(gè)更好的方式來(lái)保持你的數(shù)據(jù)分析處于正軌，并為數(shù)據(jù)模型提供一致性。
有跡象表明，在命名標(biāo)準(zhǔn)中還有許多使用的標(biāo)準(zhǔn)方法。挑選一個(gè)適合您的組織工作并實(shí)現(xiàn)它，這是比較容易的。因此沒(méi)有必要采用獨(dú)特的命名約定。如果您是數(shù)據(jù)架構(gòu)師，第一次創(chuàng)建分析框架，這是你的責(zé)任，以實(shí)現(xiàn)一個(gè)對(duì)未來(lái)的分析師遵循的標(biāo)準(zhǔn)。如果不這樣做是一種嚴(yán)重的疏忽。
（4）使用傳統(tǒng)工具工作時(shí)常見(jiàn)的錯(cuò)誤
采用傳統(tǒng)的BI工具或RAM密集型內(nèi)存系統(tǒng)工作時(shí)，以下的錯(cuò)誤代價(jià)可能是極其昂貴的，SiSense用戶保證快速高效的芯片數(shù)據(jù)引擎不再是一個(gè)問(wèn)題。
（5）錯(cuò)誤的粒度級(jí)別
在分析中，粒度是指可以讓我們看到的數(shù)據(jù)細(xì)節(jié)的水平。例如，以時(shí)間和銷售規(guī)模為例，在產(chǎn)品推出的網(wǎng)上業(yè)務(wù)。粒度是多么小的一個(gè)時(shí)間框架，我們可以看一下。我們可以看看每小時(shí)，每分鐘，甚至每秒的交易數(shù)量嗎？如果我們有數(shù)據(jù)，看看每一秒發(fā)生多少交易，每秒的交易，這將是粒度。如果我們所擁有的數(shù)據(jù)是每小時(shí)為單位，那么我們的粒度將是每小時(shí)的交易。這不僅適用于時(shí)間維度?？墒且詤⒖家恍╊愃泼看卧L問(wèn)成本，例如醫(yī)生的辦公室或每個(gè)郵政編碼的客戶。
這是需要一個(gè)很好的平衡的問(wèn)題。你可能有太多的無(wú)關(guān)數(shù)據(jù)，可能是難以讓最終用戶駕馭，這可能是一個(gè)企業(yè)管理人員更感興趣的大局。但是數(shù)據(jù)太少，又不能看到你需要的細(xì)節(jié)，此外，商業(yè)智能平臺(tái)的性能可能會(huì)受到影響，特別是當(dāng)與傳統(tǒng)的商業(yè)智能工具（值得注意的是，這不應(yīng)該是一個(gè)問(wèn)題，因?yàn)槭褂矛F(xiàn)代數(shù)據(jù)分析工具具有較強(qiáng)的數(shù)據(jù)處理能力）。
這一點(diǎn)很重要，要記住，不僅在規(guī)劃分析和數(shù)據(jù)模型，但是當(dāng)你認(rèn)為哪些數(shù)據(jù)值得捕獲和儲(chǔ)存。畢竟，如果你實(shí)際上并沒(méi)有擁有它，那就不能分析數(shù)據(jù)。
并不是所有的措施都在硬數(shù)據(jù)中發(fā)現(xiàn)。有許多情況下，派生或計(jì)算將是必要的分析。然而，并非規(guī)劃在數(shù)據(jù)模型中，這些派生值可能是一個(gè)代價(jià)昂貴的錯(cuò)誤。當(dāng)運(yùn)行分析查詢遺留系統(tǒng)，使得許多計(jì)算可以為基礎(chǔ)設(shè)施，減緩了整個(gè)過(guò)程。此外，它可能會(huì)導(dǎo)致一些主要值的不一致。
正如前面提到的，這是用較少的Sisense問(wèn)題，自芯片 技術(shù)可以進(jìn)行這些計(jì)算特設(shè)的，沒(méi)有耗盡計(jì)算機(jī)的RAM資源。但是，如果您使用的是舊版本還是內(nèi)存系統(tǒng)，根據(jù)情況有幾個(gè)方法來(lái)處理很多派生值。當(dāng)有衍生值，將不斷地或者用于報(bào)告或分析的目的引用的值，它可以是謹(jǐn)慎在ETL過(guò)程中進(jìn)行這些計(jì)算，并將其存儲(chǔ)。另外，如果計(jì)算出的值是計(jì)算密集的（即復(fù)合式），也可能是存儲(chǔ)所導(dǎo)出的值是個(gè)好主意。
除了當(dāng)把它們存放與不存儲(chǔ)他們，而不是規(guī)劃派生值會(huì)影響你的分析。尤其是在金融領(lǐng)域的指標(biāo)，即計(jì)算獲得該指標(biāo)將是主觀的。這取決于該公司和他們的方法，該公式被用于一個(gè)特定的度量。如果不使用一個(gè)一致的公式，這將會(huì)有一個(gè)數(shù)據(jù)完整性和一致性問(wèn)題，將會(huì)破壞任何分析。
最好是采用適當(dāng)?shù)臉I(yè)務(wù)部門(mén)檢查，以確保一致性的實(shí)現(xiàn)。規(guī)劃派生值可以幫助你分析，并改善未來(lái)業(yè)績(jī)。
（6）維度層次結(jié)構(gòu)
維層次結(jié)構(gòu)可以威脅任何分析。有時(shí)，沒(méi)有明確的方法來(lái)確定一個(gè)特定的維度是否是一個(gè)層次結(jié)構(gòu)的一部分。其他時(shí)間的業(yè)務(wù)目標(biāo)的分析錯(cuò)的關(guān)系。這是需要進(jìn)一步調(diào)查的時(shí)候。如果層次結(jié)構(gòu)還不清楚，需要花時(shí)間去接觸業(yè)務(wù)人員，可以清理數(shù)據(jù)，以及是如何使用的。這可能是大企業(yè)高度隔離的問(wèn)題。如果沒(méi)有咨詢?cè)S多部門(mén)，它可能會(huì)很難正確地映射你的數(shù)據(jù)模型。
如果不采取正確的層次結(jié)構(gòu)，分析可能會(huì)受到嚴(yán)重阻礙。一個(gè)實(shí)例將是創(chuàng)建一個(gè)用于制造公司上層管理的儀表板。如果工廠位置層級(jí)沒(méi)有正確映射，用戶將無(wú)法深入數(shù)據(jù)。當(dāng)然，這只是一個(gè)簡(jiǎn)單的例子。而數(shù)據(jù)模型不正確維度的層次結(jié)構(gòu)，還需要過(guò)于復(fù)雜的查詢來(lái)獲得所需要的分析信息，創(chuàng)建屬性關(guān)系不一致，甚至防止一些分析被完全執(zhí)行。
在你的分析過(guò)程需要移動(dòng)之前，最好是規(guī)劃出你的數(shù)據(jù)模型和正確的層次結(jié)構(gòu)。
（7）忽略小數(shù)據(jù)源
不可避免的是，關(guān)鍵的業(yè)務(wù)數(shù)據(jù)存儲(chǔ)在各種各樣的地方。數(shù)據(jù)存儲(chǔ)在電子表格、數(shù)據(jù)庫(kù)、筆記本電腦、移動(dòng)設(shè)備、備忘錄、收據(jù)等，也許相當(dāng)大的一部分可遇不可求，對(duì)于從所有的這些 信息孤島 的數(shù)據(jù)采集分析。一個(gè)大的錯(cuò)誤是基于一個(gè)不完整的數(shù)據(jù)集，忽略這些較小的數(shù)據(jù)源得出結(jié)論。
這對(duì)于規(guī)模較小的公司來(lái)說(shuō)，并不具備一個(gè)連接各部門(mén)和集中的數(shù)據(jù)強(qiáng)大的基礎(chǔ)設(shè)施，更是如此，還是因?yàn)榧尤攵鄠€(gè)數(shù)據(jù)源仍然是一個(gè)IT處理過(guò)程，不能由用戶進(jìn)行處理。小企業(yè)可以以指數(shù)速率增長(zhǎng)，而與數(shù)據(jù)收集保持同步增長(zhǎng)，通常讓人頭疼的一件事。因此，在企業(yè)運(yùn)行分析的時(shí)候，它有許多信息孤島，需要包括準(zhǔn)確的結(jié)果。
例如，采用電子表格是行政助理使用跟蹤客戶和通信進(jìn)行客戶分析的關(guān)鍵。離開(kāi)了電子表格，可能無(wú)法實(shí)現(xiàn)重要的連接。它可能是唯一的記錄，而可能來(lái)自兩個(gè)不同的來(lái)源的兩個(gè)客戶的名字實(shí)際上是同一個(gè)客戶。這種事情可能讓人頭痛。
人們的底線是，一定要采取從這些數(shù)據(jù)源識(shí)別和收集數(shù)據(jù)的時(shí)間。它可以創(chuàng)造或打破您的分析。
結(jié)論
你可能已經(jīng)注意到，當(dāng)涉及到你的數(shù)據(jù)分析建模時(shí)，就有一個(gè)共同的主題，那就是規(guī)劃。花時(shí)間來(lái)規(guī)劃你分析的目標(biāo)，并合并來(lái)自許多來(lái)源的數(shù)據(jù)。如果使用得當(dāng)，數(shù)據(jù)建模變得更加容易，你的數(shù)據(jù)會(huì)分析生成更可靠，可操作的見(jiàn)解。
你的規(guī)劃階段應(yīng)包括以上列出的要點(diǎn)。這也應(yīng)當(dāng)比實(shí)際建模時(shí)間長(zhǎng)得多。人們要抽出時(shí)間來(lái)設(shè)置一些標(biāo)準(zhǔn)，收集所有的數(shù)據(jù)，確定各種資源的目標(biāo)。
編輯：Harris
