高級數(shù)據(jù)鏈路控制規(guī)程HDLC規(guī)程要素

   《哈佛商業(yè)評論》曾宣稱“數(shù)據(jù)科學(xué)家”是二十一世紀(jì)最性感的職業(yè)。所謂性感，既代表著難以名狀的誘惑，又說明了大家對它又不甚了解。

如何做好數(shù)據(jù)科學(xué)呢?

　　微軟高級數(shù)據(jù)科學(xué)家 Brandon Rohrer 概括了做數(shù)據(jù)科學(xué)的七大步驟，手把手教你做數(shù)據(jù)科學(xué)。

1. 獲取更多的數(shù)據(jù)

數(shù)據(jù)科學(xué)的原材料是數(shù)字和名稱的集合，測量、價格、日期、時間、產(chǎn)品、標(biāo)題、行動等，數(shù)據(jù)科學(xué)無所不包。你也可以使用圖像、文字、音頻、視頻等復(fù)雜數(shù)據(jù)，只要你能將它們簡化為數(shù)字和名稱。

獲取數(shù)據(jù)的機制可能非常復(fù)雜，事實上，數(shù)據(jù)工程師就像忍者一樣。不過，本篇文章將主要聚焦于數(shù)據(jù)科學(xué)。

2. 問一個尖銳的問題

數(shù)據(jù)科學(xué)是通過數(shù)字和名稱組成的數(shù)據(jù)集合來回答問題的過程。你問的問題越精確，越容易找到令你滿意的答案。

在選擇問題的時候，想象你的面前是一個可以用數(shù)字或字段來告訴你宇宙中一切奧秘的圣人，他的回答總是模糊不清、令人困惑，而你希望問一個精準(zhǔn)而無懈可擊的問題，讓他忍不住告訴你問題的答案。

模糊的問題如“我的數(shù)據(jù)能告訴我什么?”、“我應(yīng)該做什么?”我怎樣提高利潤?”會帶來無用的回答，而清晰的問題如“第三季度我能在蒙特利爾賣出多少產(chǎn)品?”、“我車隊中的哪一輛車會先壞?”會帶來清晰的答案。

在有了問題后，要看你的數(shù)據(jù)是否能夠回答這些問題。如果你的問題是“我的下周的價格是多少?”，那就要確保你的數(shù)據(jù)中有的歷史價格;如果你的問題是“88型航空發(fā)動機能夠工作多少小時?”，那就要確保你有多臺88型發(fā)動機故障次數(shù)的數(shù)據(jù)。

這些就是你的目標(biāo)數(shù)據(jù) (target)，即你希望在未來預(yù)測或布置的量或種類。如果你沒有任何目標(biāo)數(shù)據(jù)，需要回到步驟1，獲取更多的數(shù)據(jù)，因為沒有目標(biāo)數(shù)據(jù)則無法回答問題。

3. 將數(shù)據(jù)置于表格中

大部分機器學(xué)習(xí)算法假設(shè)數(shù)據(jù)以表格的形式呈現(xiàn)，每行是一個事件、項目或?qū)嵗?，每列是行?shù)據(jù)的一個特征或?qū)傩浴?/span>

在一個描述美國足球比賽的數(shù)據(jù)集中，每行可能代表一場比賽，列可能包括主場隊、客場隊、主場得分、客場得分、日期、開始時間、出場情況等等。表格中的列可以非常細(xì)致，有多少都可以。

選擇所需數(shù)據(jù)行

將數(shù)據(jù)集分割成行有許多方法，但只有一種方法能幫助你回答問題：每行有且只能有一個目標(biāo)實例。以零售店數(shù)據(jù)為例，一行可以是一次交易、一天營業(yè)額、一個零售店、一個顧客等等。

如果你的問題是“剛進過店的顧客會回訪嗎?”，那應(yīng)當(dāng)以一個顧客作為一行，你的目標(biāo)“顧客是否回訪”將呈現(xiàn)在每行，而如果以一個零售店或者一天營業(yè)額作為每行的數(shù)據(jù)則不能回答目標(biāo)問題。

有時你必須通過累積數(shù)據(jù)來獲得需要的數(shù)據(jù)。如果你的問題是“我每天賣出多少拿鐵咖啡?”，那你需要的數(shù)據(jù)是以天數(shù)作為行、賣出的拿鐵數(shù)作為列，但是你手頭的數(shù)據(jù)可能是帶有日期和時間的交易記錄。

為了將這些數(shù)據(jù)變?yōu)槊刻斓臄?shù)據(jù)，需要對目前的數(shù)據(jù)進行累積，將每一天賣出的拿鐵數(shù)進行合計。在這個過程中，有些信息會丟失，例如每杯拿鐵賣出的時間，但沒有關(guān)系，因為它不會幫助你回答問題。

4. 檢查數(shù)據(jù)質(zhì)量

檢視

下一步是認(rèn)真地排查數(shù)據(jù)。檢查數(shù)據(jù)有兩個目的：第一，發(fā)現(xiàn)錯誤數(shù)據(jù)，修復(fù)或去除；第二，充分了解每一行每一列。這一步不能跳過，否則無法讓數(shù)據(jù)發(fā)揮最大功效。只有你對你的數(shù)據(jù)表示出愛，它才會愛你哦。

以一列數(shù)據(jù)為例，它的標(biāo)簽是什么?數(shù)值與標(biāo)簽匹配嗎？標(biāo)簽對你來說有意義嗎？這一列數(shù)據(jù)有記錄嗎？是怎樣測量的？誰來測量的？如果你幸運地認(rèn)識錄入數(shù)據(jù)的人，不妨約他們出來吃甜甜圈，問問他們是怎樣測量的，問問他們錄入中有沒有有趣的故事，這一頓點心會給你帶來回報的。

　　現(xiàn)在，讓我們把用這一列畫一個柱狀圖。整體分布符合你的預(yù)期嗎？是否有異常數(shù)據(jù)點？異常點是否有意義？例如，如果這一列代表的是農(nóng)業(yè)分布的經(jīng)度，有沒有一個數(shù)據(jù)點落在太平洋中？如果這一列是關(guān)于考試分?jǐn)?shù)，是否有人的分?jǐn)?shù)是1%或者10000% ？用你所知的一切對數(shù)據(jù)做一個監(jiān)測，如果有的數(shù)據(jù)看起來有些奇怪，找出為什么。

校正

　　在排查數(shù)據(jù)中，你可能發(fā)現(xiàn)一些標(biāo)簽和記錄的錯誤，記錄并分享你的發(fā)現(xiàn)。

你也可能發(fā)現(xiàn)一些值是錯誤的。一些值可能超過了正常范圍，比如一個人竟然72米高，或者有些值是不可能出現(xiàn)的，例如一個寫成“中心路 7777777777 號”的地址。

這種情況下，你有三個選擇：如果這個值很容易更改，那就改為正確的值，例如把高72米改成72英寸；如果錯誤的值不明顯，你可以刪掉這個值、注明缺失；如果這個值是關(guān)鍵信息，你可以刪除整行或者整列。這樣可以讓你訓(xùn)練的模型遠(yuǎn)離錯誤數(shù)據(jù)。錯誤數(shù)據(jù)可比缺失數(shù)據(jù)危害更大。

　　你可能很想移除看起來不理想的數(shù)據(jù)，例如異常數(shù)據(jù)或者不支持你的理論的數(shù)據(jù)——但千萬別這樣做，否則不僅違背學(xué)術(shù)倫理，更可怕的是可能會導(dǎo)致錯誤結(jié)果。

替換缺失值

幾乎每一個數(shù)據(jù)集都存在缺失值，可能是由于數(shù)值錯誤被刪除了，也可能是你在實驗途中去測量了一個新的變量，還可能是這些數(shù)據(jù)來自不同的數(shù)據(jù)源。但不管什么情況，大部分機器學(xué)習(xí)算法要么要求數(shù)據(jù)無缺失，要么會用默認(rèn)值填充。而你可以比機器做得更好，因為你了解你的數(shù)據(jù)。

替換缺失值有很多方法，《處理缺失值的方法》一文提供了一個辦法，而最佳的處理辦法取決于每一列的意義和數(shù)值缺失帶來的影響，每一個數(shù)據(jù)集的情況可能都有所不同。

替換完所有的缺失值后，你的數(shù)據(jù)們現(xiàn)在已經(jīng)“連上”了，每一個數(shù)據(jù)點對每一個特征都有意義?，F(xiàn)在，這些數(shù)據(jù)是干凈的、可以拿來用了。

　　有時候你可能發(fā)現(xiàn)，在數(shù)據(jù)清理后，幾乎沒有剩余的數(shù)據(jù)了……這是件好事情，因為你剛剛避免了走上用錯誤的數(shù)據(jù)建立模型、得到錯誤的結(jié)論、被客戶嘲笑、激怒老板的不歸路 …… 如果是這樣，那就回到第一步，從頭獲取更多的數(shù)據(jù)吧！

5. 變換特征

在進入機器學(xué)習(xí)之前還有一步：特征工程 (feature engineering) ，即對現(xiàn)有特征數(shù)據(jù)進行創(chuàng)意組合，以更好地預(yù)測你的目標(biāo)。舉個例子，如果我們把火車到達和出發(fā)的時間相減，可以得到火車的運輸時間，這個特征對完成目標(biāo)即預(yù)測火車的最大速度更加有用。

嚴(yán)格來講，特征工程并不會增加任何數(shù)據(jù)信息，只是使用各種方法對原有數(shù)據(jù)進行組合。然而，僅僅對兩欄的數(shù)據(jù)進行組合就有無限種方式，而大部分組合方式對解決目標(biāo)并沒有什么幫助。通常情況下，只有在對數(shù)據(jù)有充分了解的情況下才可能選出一個好的方式。你需要充分調(diào)用你所有的相關(guān)知識，讓數(shù)據(jù)為你所用。

特征工程是數(shù)據(jù)科學(xué)中最微妙的一步，沒有一成不變的辦法，而是要不斷試錯、依靠直覺和經(jīng)驗。深度學(xué)習(xí)試圖讓這個過程自動完成，但大多以失敗告終，也許這就是人類智能的特別之處吧。

　　不過，即使你還不是特征工程的黑帶高手，也有一個可以使用的小技巧。你可以根據(jù)你的目標(biāo)，用不同的顏色標(biāo)識變量，這可以幫你發(fā)現(xiàn)變量之間的關(guān)系。這可能工作量較大，不過你一定要花些時間過一遍。每當(dāng)你發(fā)現(xiàn)有兩個變量與目標(biāo)相關(guān)，那可能就是一個特征工程，意味著這兩個變量結(jié)合在一起可能比孤立來看更有幫助。

　　有時候，你會發(fā)現(xiàn)你的數(shù)據(jù)中沒有任何變量或變量的組合能夠幫你預(yù)測目標(biāo)，這可能意味著你需要測量一些其他變量。那么，重回第一步，獲取更多的數(shù)據(jù)吧 !

6. 回答問題

終于到了數(shù)據(jù)科學(xué)家最愛的部分了 —— 機器學(xué)習(xí)！簡單地說，你需要確定你的問題屬于哪種算法 ，然后使用傳統(tǒng)的機器學(xué)習(xí)技巧來分割數(shù)據(jù)進行訓(xùn)練、調(diào)整、測試數(shù)據(jù)集、根據(jù)選擇的模型優(yōu)化參數(shù)。

如果你的模型無法很好地解決問題，或者你不想用機器學(xué)習(xí)，還有兩種非傳統(tǒng)的方法：

第一種，簡單地看一下你的數(shù)據(jù)圖像，很多情況下，只要對數(shù)據(jù)進行可視化就能找到答案。例如，如果你的問題是“波士頓明年7月4號的最高氣溫是多少?”，那么只要看一下過去100年間波士頓每年7月4日最高氣溫的直方圖就基本可以解決問題了。

第二種方法技術(shù)含量更高一些。如果你是因為數(shù)據(jù)集太小而得不到結(jié)果，你可以考慮進行優(yōu)化。機器學(xué)習(xí)基于弱先驗假設(shè)，也就是說，機器學(xué)習(xí)對數(shù)據(jù)結(jié)構(gòu)做一些較弱的假設(shè)。

這種方法的優(yōu)點在于使用算法之前不需要對數(shù)據(jù)有太多了解，它能夠訓(xùn)練出一些大致的模型，而缺點在于需要大量數(shù)據(jù)才能獲得一個可信的答案。一個替代方法是根據(jù)你對數(shù)據(jù)的了解，對數(shù)據(jù)做更多的假設(shè)。例如，如果你想預(yù)測一個物體的飛行軌跡，你可以收集大量物體自由落體的數(shù)據(jù)，用它們訓(xùn)練機器學(xué)習(xí)算法。你其實還可以用你了解的牛頓力學(xué)知識來制作一個更豐富的模型。這樣，只需要一個包括位置和速度的數(shù)據(jù)點就可以預(yù)計這個物體在未來任何一點的位置和速度。這種方法的風(fēng)險在于你的假設(shè)可能不完全正確，但優(yōu)點是你不需要大量的數(shù)據(jù)就能完成任務(wù)。

　　如果這些辦法對你都不適用，也許意味著你需要收集更多的數(shù)據(jù)，或者重新思考一下你測量的數(shù)據(jù)?；氐降谝徊剑@取更多數(shù)據(jù)吧 ~

7 .應(yīng)用答案

不管你如何優(yōu)雅地用數(shù)據(jù)回答提出的問題，你的工作直到有用戶使用才算完成。將你的結(jié)果以某種形式呈現(xiàn)給用戶，用戶可以用它做決策、完成任務(wù)或進行學(xué)習(xí)。

展示的方式有很多：你可以將結(jié)果放在 web 頁面上，把你發(fā)現(xiàn)的最有用的信息呈現(xiàn)在 PDF上，可以在 GitHub 上分享你的代碼，可以把結(jié)論做成視頻分享給你的商業(yè)客戶，可以制作美觀的數(shù)據(jù)可視化成果發(fā)在 Twitter 上，等等。不管采用哪種方式，要讓其他人使用你的成果。

森林中的一棵樹倒下，即使附近沒有人聽見，仍然會有響聲，但如果你建造了一個精良的模型卻沒人用，你肯定不會得到贊譽。

　　那么就從頭開始吧，回到第一步，獲取更多的數(shù)據(jù)！

國家統(tǒng)計局5月18日發(fā)布了4月份70個大中城市住宅銷售價格統(tǒng)計數(shù)據(jù)。對此，國家統(tǒng)計局城市司高級統(tǒng)計師劉建偉進行了解讀。

一、房價環(huán)比略有上漲，城市間仍呈分化局面。在3月底樓市新政出臺和傳統(tǒng)銷售旺季等多重因素疊加影響下，4月份70個大中城市新建商品住宅成交繼續(xù)回升，部分城市房價環(huán)比略有上漲。發(fā)布的數(shù)據(jù)顯示，4月份70個大中城市新建商品住宅和二手住宅價格環(huán)比上漲的城市分別有18個和28個，分別比上月增加了6個和16個；持平和下降的城市個數(shù)均有所減少。初步測算，4月份70個大中城市新建商品住宅價格環(huán)比綜合平均上漲0.3%。

分城市看，分化仍然較為明顯，房價上漲主要集中在一線城市和少數(shù)二線城市。4月份北京、上海、廣州、深圳4個一線城市新建商品住宅和二手住宅價格環(huán)比均出現(xiàn)上漲，最高漲幅分別為1.8%和2.4%，少數(shù)二線城市房價出現(xiàn)上漲，絕大部分三線城市房價仍然下降。據(jù)測算，4月份一線城市新建商品住宅價格環(huán)比平均上漲1%，二、三線城市新建商品住宅價格環(huán)比平均分別下降0.1%和0.3%。

二、房價同比降幅收窄。絕大部分城市房價同比仍然下降，但隨著部分城市房價環(huán)比上漲，4月份房價同比降幅總體略有收窄。其中，新建商品住宅價格降幅比上月收窄的城市有15個，比上月增加12個；二手住宅價格降幅比上月收窄的城市有22個，比上月增加11個。