大數(shù)據(jù)時代，統(tǒng)計學被更多的人知道

　　為什么統(tǒng)計學現(xiàn)在這么火 ?

　　為什么直到現(xiàn)在，統(tǒng)計學才在各個領(lǐng)域得到重視呢?

　　通過數(shù)據(jù)之間的關(guān)聯(lián)性、利用因果關(guān)系進行推論的現(xiàn)代統(tǒng)計學的基本思考方法，早在20世紀初期就已經(jīng)確立，主要的統(tǒng)計分析方法則在20世紀60年代全部出現(xiàn)。如今，距離被稱為現(xiàn)代統(tǒng)計學之父的羅納德·艾爾默·費希爾去世已經(jīng)過了半個世紀。如果統(tǒng)計學真的如前文所說具有如此強大的力量，那為什么在之前的社會中沒有被大規(guī)模應用呢?實際上這個問題并不在于統(tǒng)計學本身，而是在于能夠活用統(tǒng)計學的外部環(huán)境發(fā)生了變化。

　　為了使大家能夠更好地理解這一變化，讓我對第二節(jié)中提到過的將弗明漢居民全部卷入其中的大規(guī)模流行病學研究作進一步的詳細介紹。

　　這項流行病學研究一般被稱為弗明漢研究，是在第二次世界大戰(zhàn)結(jié)束之后不久的1948年，為了查明當時持續(xù)增加的心臟病患者的病因而成立的調(diào)查?？苹舻难芯孔C明了包括霍亂細菌在內(nèi)的各種細菌是造成傳染病的原因，由此產(chǎn)生了利用疫苗和抗生素來進行治療的方法。但是，在因為細菌感染而死亡的人數(shù)減少之后，與細菌沒有關(guān)系的病癥，比如心臟病和癌癥以及腦中風等疾病卻成了以美國為首的發(fā)達國家中死亡率最高的疾病，這也成為當時醫(yī)學界的一大難題。

　　在這樣的背景下，以施行新政而聞名的富蘭克林·羅斯?？偨y(tǒng)對此非常重視(順便說一句，羅斯?？偨y(tǒng)本人也是死于心臟病)，并且由此展開了可以稱為人類史上第一次的大規(guī)模流行病學研究項目。不管是心臟病還是霍亂，只要是不明原因的病癥，要想查明其發(fā)病原因，只有進行慎重且大規(guī)模的數(shù)據(jù)采集，并且對采集的數(shù)據(jù)進行仔細分析。除此之外別無他法。

　　弗明漢當時有大約2.8萬名居民，其中29~69歲的居民中有5 127人響應了研究小組的號召參加了這項研究，占這部分人數(shù)的2/3。因為當時對心臟病的成因幾乎沒有任何線索，所以除了性別、年齡等基本信息之外，還記錄了每個人的過往病史與生活習慣、血壓、心電圖、血液成分、社會經(jīng)濟學指標等各種各樣的項目。當時采集的血液，隨著后來檢查方法的不斷進步又追加了很多檢查項目，因此一直冷凍保存至今。

　　弗明漢研究一直到今天仍在繼續(xù)，每當有其他研究出現(xiàn)新進展的時候都會對其進行追加的項目調(diào)查，如今參加最初研究的那些人的后代還參加了對遺傳因子的調(diào)查研究。

　　弗明漢研究針對5 000余名對象定期進行檢查與詢問，調(diào)查頻率是每兩年1次。

　　如此大規(guī)模而且徹底的調(diào)查研究，為什么不每年進行呢?實際上當時的研究者也非?？释軌蜃龅?年1次。但是，由于當時的技術(shù)能力所限，每兩年進行一次就已經(jīng)是調(diào)查頻率的極限了。

　　至于限制調(diào)查頻率的原因，則是數(shù)據(jù)輸入、管理以及采集所花費的時間和精力。

　　弗明漢研究小組在最初進行數(shù)據(jù)采集時所使用的設(shè)備，據(jù)說只有一臺大型穿孔卡片機。

　　說起穿孔卡片，可能很多人連實物都沒有見過吧。簡單來說就是在一個厚紙片上利用物理手段打孔，根據(jù)打孔的位置記錄數(shù)據(jù)。

　　首先，人工記錄5 000人的生活習慣和血液檢查的結(jié)果，再將數(shù)值轉(zhuǎn)換為穿孔卡片進行保存，檢查是否有錯誤，然后對各個調(diào)查項目的平均值和比例進行綜合統(tǒng)計。進行這樣的工作，每兩年一次的頻率已經(jīng)是極限了。

　　至于弗明漢研究的目標“找到心臟病的成因”，需要對各個變量和多樣的調(diào)查項目之間的關(guān)聯(lián)性進行分析，這就需要用到邏輯回歸的分析方法(實際上，邏輯回歸分析本身就是因弗明漢研究而誕生的方法)。但是，對5 000名研究對象的數(shù)據(jù)進行分析，就相當于使用5 000個質(zhì)數(shù)的矢量，進行包括對數(shù)變換在內(nèi)的非常繁雜的矩陣計算，只有這樣才能夠得出最終答案。

　　一直到20世紀60年代國際商業(yè)機器公司(IBM)發(fā)明了大型通用計算機，并且將其應用到研究中之后，弗明漢研究才能夠?qū)?0年間的調(diào)查數(shù)據(jù)進行分析。

　　無聊的“紙和筆的統(tǒng)計學”已經(jīng)過時了

　　另外，以前的統(tǒng)計學教育只能依靠黑板和粉筆，或者紙和筆，主要以理解算式，對幾十個數(shù)據(jù)進行手工計算和分析為主。但是，現(xiàn)在的統(tǒng)計分析只需要寫一個簡單的程序，或者使用現(xiàn)成的統(tǒng)計分析工具，對大規(guī)模的數(shù)據(jù)進行實際分析也成為可能。

　　雖然我們現(xiàn)在主要使用的統(tǒng)計學思考方法和分析方法，早在幾十年前就已經(jīng)基本完成，但是像現(xiàn)在這樣讓每個人都能夠隨時隨地地簡單使用，還是在20世紀末計算機技術(shù)發(fā)生革命性進步之后，才得以實現(xiàn)的。

　　以前的紙和筆的統(tǒng)計學與現(xiàn)代的計算機統(tǒng)計學之間存在著巨大的差距，現(xiàn)代的統(tǒng)計學家必須在精通數(shù)理知識的同時，還掌握計算機技術(shù)的應用。

　　如果本書的讀者朋友們在大學時代對統(tǒng)計學課程留下了一種無聊的印象，那么可能是因為只接受過“紙和筆的統(tǒng)計學”教育，所以對于一直在時代最前沿給出最佳解答的計算機統(tǒng)計學的力量沒有切身感受，這也是情有可原的。

　　“大數(shù)據(jù)”時代濃濃的統(tǒng)計學氣息

　　統(tǒng)計學在近幾年的變化，可以說受計算機的影響最為強烈。

　　計算機使商業(yè)模式發(fā)生了翻天覆地的變化。商品的采購、庫存、銷售等記錄基本上全都已經(jīng)數(shù)據(jù)化，成本和銷量的把控與用紙筆進行管理的時代相比也變得更加簡單。顧客資料與消費記錄、工作人員的工作時間與評定、健康狀態(tài)、支付的報酬與成本核算等信息，都可以存儲在公司內(nèi)部系統(tǒng)和Excel電子表格中。為了生產(chǎn)而進行的機械操作、到自己公司網(wǎng)站的鏈接，基本上所有的登錄情況都會被記錄下來，必要時可以綜合統(tǒng)計作為經(jīng)營的參考。就算說那些大型公司幾乎所有的業(yè)務流程已經(jīng)全部實現(xiàn)電子化，也不為過。