數(shù)字化轉型是企業(yè)在數(shù)字經(jīng)濟時代面對的重大戰(zhàn)略選擇,其本質是通過有效地使用數(shù)據(jù)資源對業(yè)務進行全面的升級和優(yōu)化,提高企業(yè)的綜合產(chǎn)業(yè)競爭力。本書將數(shù)據(jù)科學作為出發(fā)點,結合大數(shù)據(jù)、人工智能技術,以數(shù)據(jù)分析的方法和理論為觀察視角,介紹了企業(yè)數(shù)字化轉型的核心知識概念及主要的應用實踐策略。 本書共8章,分為數(shù)據(jù)科學原理、數(shù)據(jù)科學技術、數(shù)字化業(yè)務實踐,以及數(shù)字化產(chǎn)業(yè)目標四個主要部分。 數(shù)據(jù)科學原理部分(第2章)主要討論數(shù)據(jù)要素的核心價值體系及數(shù)據(jù)科學的基本理論范疇;數(shù)據(jù)科學技術部分(第3~6章)主要介紹數(shù)據(jù)獲取及預處理方法、數(shù)據(jù)規(guī)律挖掘方法、數(shù)據(jù)建模方法,以及數(shù)據(jù)相關技術系統(tǒng)的建設方法;數(shù)字化業(yè)務實踐部分(第7~8章)討論企業(yè)數(shù)字化中的實施落地問題、數(shù)字化人才和組織架構,以及不同行業(yè)數(shù)字化應用的典型場景;數(shù)字化產(chǎn)業(yè)目標部分(第1章)介紹數(shù)字經(jīng)濟時代的產(chǎn)業(yè)特征和格局,以及企業(yè)數(shù)字化的業(yè)務本質和重大意義。 本書適合關注數(shù)字化轉型話題的數(shù)據(jù)挖掘、數(shù)據(jù)分析、數(shù)據(jù)系統(tǒng)研發(fā)等相關行業(yè)技術人員,也適合對數(shù)據(jù)科學感興趣的數(shù)字化轉型管理人才和業(yè)務專家,并可作為數(shù)據(jù)產(chǎn)業(yè)創(chuàng)業(yè)者和研究人員的參考書籍。
本書內容一共包括八章,分布在目標、原理、技術、業(yè)務4個主要層級板塊。依據(jù)這4個層級的遞進關系,完成了從數(shù)據(jù)科學到數(shù)字經(jīng)濟的總體價值實現(xiàn)鏈路轉換。本書內容適用于廣大對數(shù)據(jù)科學感興趣的技術從業(yè)人員,幫助技術人員更好地突破懂技術,但不落地的痛點,讓讀者在掌握核心大數(shù)據(jù)技術的同時,找準數(shù)字產(chǎn)業(yè)的應用方向,通過數(shù)字化創(chuàng)新的業(yè)務場景實現(xiàn)技術價值發(fā)揮。
數(shù)字化轉型已經(jīng)成為大多數(shù)企業(yè)所面對的巨大發(fā)展變革機會。越來越多的企業(yè)開始嘗試通過數(shù)字化轉型來獲得新的技術和能力,并在所在行業(yè)中取得競爭優(yōu)勢。企業(yè)要想做好數(shù)字化轉型工作,就要理解數(shù)字化的概念和方法,掌握數(shù)字化的關鍵工具,除此以外,更重要的是讀懂數(shù)據(jù)和使用數(shù)據(jù)。
數(shù)字化轉型的核心是數(shù)據(jù),關注的是如何使用數(shù)據(jù)創(chuàng)造業(yè)務價值。一般關于數(shù)字化轉型的討論大多數(shù)是從業(yè)務的視角展開,圍繞和數(shù)據(jù)相關的管理方法及基于數(shù)據(jù)要素的商業(yè)模型。本書不僅關注數(shù)字化轉型在業(yè)務實踐的一面,同時也關注其科學屬性的一面。我們想要探討的是數(shù)據(jù)在數(shù)字化轉型中到底發(fā)揮了什么作用,具體是如何一步步地釋放信息價值,并對傳統(tǒng)的業(yè)務模式進行重塑。
數(shù)據(jù)的作用是傳遞信息,信息幫助人們進行決策,而管理的本質則是關于決策的活動,因此討論企業(yè)的管理問題,實際上就是討論如何使用數(shù)據(jù)的問題。在數(shù)字化轉型中,企業(yè)的全部靈感都要圍繞數(shù)據(jù)展開,也只有通過對數(shù)據(jù)的管理、加工、分析、交互、共享、反饋才能得以實現(xiàn)。
數(shù)據(jù)科學是關于數(shù)據(jù)的綜合學科,這里面涉及很多技術方面的內容,例如公式、算法、模型、軟件架構,以及核心的數(shù)字技術產(chǎn)品。在暢想和規(guī)劃數(shù)字化轉型的業(yè)務實踐路徑的同時,我們不應忽略的事實是,轉型工作最終還是要回歸到對數(shù)據(jù)的應用上。對數(shù)據(jù)理解的深度最終會決定我們數(shù)字化轉型工作成績的高度。
從數(shù)據(jù)科學的角度介紹數(shù)字化轉型是一個全新的思路,在數(shù)字化轉型的基本概念和總體圖景基礎之上,幫助進行數(shù)字化變革的管理者們能夠自底向上逐步看清數(shù)字技術與業(yè)務創(chuàng)新的本質關系。技術決定了業(yè)務的能力邊界,只要讀懂數(shù)據(jù)科學技術,就能夠深刻理解數(shù)據(jù)在所面對的業(yè)務場景下究竟能做什么,同時也幫助我們看清在數(shù)字技術的驅動下,前方業(yè)務發(fā)展的道路應該走向何方。
本書是筆者基于十多年在數(shù)據(jù)科學方面的學習和工作經(jīng)驗總結整理而成的,其中,涵蓋了在上海交通大學博士就讀期間對數(shù)據(jù)驅動的新型管理方法的思考見解,也融合了在金融行業(yè)國有企業(yè)統(tǒng)籌數(shù)據(jù)管理與創(chuàng)新工作的產(chǎn)業(yè)實踐經(jīng)驗,同時也體現(xiàn)了在中國科學院自動化研究所從事大數(shù)據(jù)科研工作期間的前沿技術積累。
在形成本書內容時,參考了大量數(shù)據(jù)科學和數(shù)字技術方面的高質量論文和書籍,從中篩選出了與數(shù)字化轉型密切相關的技術知識點,將其按照數(shù)字化應用落地的角度重新進行了篩選和組織,最終形成了獨有的知識體系脈絡。本書涵蓋的知識內容十分豐富,呈現(xiàn)方式很壓縮,但是在文字表述上盡可能地做到直接、簡潔、清晰。書中介紹的所有知識內容最終都指向一個目的,讓讀者能夠看清數(shù)字化的科學本質,掌握從寶貴數(shù)據(jù)資源中構建出成功數(shù)字化案例的技術能力。
本書共分8章,分布在目標、原理、技術、業(yè)務4個主要層級板塊。依據(jù)這4個層級的遞進關系,完成了從數(shù)據(jù)科學到數(shù)字經(jīng)濟的總體價值實現(xiàn)鏈路轉換,如下圖所示。
第1章介紹了數(shù)字經(jīng)濟的基本定義,以及與其密切相關的數(shù)字化轉型和數(shù)字化創(chuàng)新的概念內涵,同時明確提到了數(shù)字化的最終目的是通過連接、決策和智能等主要途徑為經(jīng)濟活動注入新的秩序。
在原理層級板塊,重點關注和數(shù)字化相關的底層數(shù)據(jù)科學知識框架,把數(shù)據(jù)看作基礎的研究對象進行剖析,這一層對應的是本書第2章內容。
第2章首先介紹了數(shù)據(jù)的核心價值本源,指出數(shù)據(jù)的價值包括事實的價值和知識的價值兩個層面的內涵。之后,提出決定數(shù)據(jù)價值水平的兩個重要的數(shù)據(jù)特征,分別是數(shù)據(jù)的維度和數(shù)據(jù)的規(guī)模。第2章還介紹了數(shù)據(jù)科學學科本身的專業(yè)領域范疇,包括數(shù)據(jù)采集與管理、數(shù)據(jù)存儲與計算、數(shù)據(jù)分析與應用3個方面的知識內容。
數(shù)據(jù)技術是數(shù)據(jù)原理的具體能力表現(xiàn)形式。在技術層級板塊,重點關注基于數(shù)據(jù)科學原理的數(shù)字技術方案的具體實現(xiàn),這一層對應的是本書第3~6章內容。
第3章主要介紹如何從業(yè)務環(huán)境中獲取數(shù)據(jù),其中提到了數(shù)據(jù)感知的概念。數(shù)據(jù)感知是實現(xiàn)幫助企業(yè)從業(yè)務活動中捕捉關鍵信息,并將信息映射到數(shù)字世界的關鍵技術過程。數(shù)據(jù)感知包括硬感知和軟感知,分別對應從物理世界和虛擬世界進行數(shù)據(jù)采集。在數(shù)據(jù)感知的基礎上,還需要對數(shù)
據(jù)進行進一步處理才能轉化成可用的形式,因此第3章也重點介紹了數(shù)據(jù)的信息提取和信息檢索兩個主要技術任務。
第4章主要介紹如何從數(shù)據(jù)中尋找規(guī)律實現(xiàn)信息價值的啟發(fā)及新業(yè)務知識的獲取。具體包括對數(shù)據(jù)進行客觀的統(tǒng)計描述分析,挖掘數(shù)據(jù)的重要統(tǒng)計特征及其背后的關鍵業(yè)務信息。此外,本章還介紹了主要的規(guī)則挖掘技術方法,即如何從數(shù)據(jù)中提取知識規(guī)則并加以業(yè)務應用。本章還對數(shù)據(jù)可視化進行了討論,介紹了很多重要的數(shù)據(jù)圖形表現(xiàn)形式及其所適用的具體業(yè)務分析場景。
第5章主要介紹如何從數(shù)據(jù)中獲得智能的方法,目的是從海量數(shù)據(jù)資源中學習到能夠代替人進行智能決策的數(shù)據(jù)模型。首先介紹了面向有監(jiān)督數(shù)據(jù)集的傳統(tǒng)機器學習方法,涉及回歸分析、支持向量機、概率圖、決策樹等主要模型; 其次介紹了近年來在大數(shù)據(jù)業(yè)務場景下比較流行的深度學習技術,包括深度前饋神經(jīng)網(wǎng)絡、循環(huán)神經(jīng)網(wǎng)絡、自編碼器等經(jīng)典的神經(jīng)網(wǎng)絡結構; 最后討論了其他常見的智能數(shù)據(jù)建模方法,如強化學習、遷移學習、元學習、聯(lián)邦學習等。
第6章主要介紹在數(shù)字化轉型中企業(yè)的IT建設工作,討論在具體的技術落地層面所涉及的主要軟件系統(tǒng)及所依賴的底層技術框架。本章首先介紹了支撐企業(yè)級數(shù)據(jù)資源管理、共享和應用的中臺概念,以及相關的技術應用系統(tǒng); 其次介紹了為企業(yè)數(shù)字化提供基礎服務能力保障的大數(shù)據(jù)技術棧,并從大數(shù)據(jù)存儲、大數(shù)據(jù)收集、大數(shù)據(jù)計算、大數(shù)據(jù)集群管理等方面進行了詳細解讀; 最后梳理了企業(yè)獲取數(shù)字技術能力的主要實施途徑,其中包括軟件服務化的總體技術架構趨勢,以及云計算的經(jīng)典服務模型與部署模型。
技術的目的是支撐業(yè)務活動,幫助企業(yè)完成業(yè)務的轉型和組織的轉型。在業(yè)務層級板塊,重點關注數(shù)據(jù)管理和數(shù)字化產(chǎn)業(yè)實踐兩方面的內容,分別對應本書的第7章和第8章。
第7章主要介紹企業(yè)的數(shù)據(jù)管理活動。首先介紹了數(shù)據(jù)管理活動的總體內容框架,特別是數(shù)據(jù)治理的概念和數(shù)據(jù)生命周期管理的主要工作范疇; 其次介紹了如何建立企業(yè)的數(shù)據(jù)體系,包括對數(shù)據(jù)架構的設計思路和數(shù)據(jù)建模的主要方法; 最后針對企業(yè)中主要的數(shù)據(jù)類型及相應的管理方法進行了詳細說明,包括常規(guī)數(shù)據(jù)、非結構化數(shù)據(jù)、主數(shù)據(jù)、參考數(shù)據(jù),以及元數(shù)據(jù)等。
第8章主要介紹企業(yè)數(shù)字化產(chǎn)業(yè)實踐中的典型問題和應用案例,其中分別介紹了大型和中小型非數(shù)字原生企業(yè)在轉型中的困難和常見的解決方法,并從組織和人才的層面描述了數(shù)字化企業(yè)的主要特點。最后還專門討論了餐飲、家居、金融、制造業(yè)、能源、農(nóng)業(yè)、城市治理、醫(yī)療衛(wèi)生等重要行業(yè)領域的產(chǎn)業(yè)實踐應用成果。
在業(yè)務層級板塊的基礎上,最終是要實現(xiàn)數(shù)字經(jīng)濟的上層目標,這也是本書在第1章最開始討論的內容。
本書內容適用于廣大對數(shù)據(jù)科學感興趣的技術從業(yè)人員,幫助技術人員更好地突破懂技術,但不落地的痛點,讓讀者在掌握核心大數(shù)據(jù)技術的同時,找準數(shù)字產(chǎn)業(yè)的應用方向,通過數(shù)字化創(chuàng)新的業(yè)務場景實現(xiàn)技術價值發(fā)揮。本書同時也適用于所有致力于在數(shù)字化轉型中有更多技術維度思考的管理人員和業(yè)務專家,幫助其深入理解數(shù)據(jù)科學技術的前沿動態(tài),提升自身數(shù)據(jù)素質和數(shù)據(jù)產(chǎn)品規(guī)劃能力,從而更有效地組織技術人員開展數(shù)字化項目的實施推進。
作者
2023年6月
劉通,上海交通大學管理科學與工程博士,數(shù)易達科技創(chuàng)始人,企業(yè)數(shù)字化咨詢師,智能算法高級工程師,聚焦于企業(yè)AI賦能,數(shù)據(jù)應用平臺設計研發(fā),以及電力、醫(yī)療、全渠道零售等行業(yè)的數(shù)字化轉型解決方案。
曾就職于中國銀聯(lián)總部,負責數(shù)據(jù)分析、數(shù)據(jù)治理項目的企劃和統(tǒng)籌工作,后在中科院自動化研究所模式識別國家重點實驗室從事數(shù)據(jù)科學的理論研究,開展大數(shù)據(jù)挖掘、知識計算等領域的算法研發(fā)工作,組織數(shù)據(jù)智能應用系統(tǒng)的平臺開發(fā)。參與過十余項核心大數(shù)據(jù)技術的專利發(fā)明,指導發(fā)表多篇國內外優(yōu)秀會議論文,曾在多項國家重點科研項目中擔任重要崗位。著有《大話數(shù)字化轉型-迎接全行業(yè)的數(shù)字未來》,《AIGC新紀元:洞察ChatGPT與智能產(chǎn)業(yè)革命》,書籍入選數(shù)字化轉型理論與實踐系列叢書。
第一部分數(shù)字化產(chǎn)業(yè)目標
第1章走進數(shù)字經(jīng)濟時代00
1.1大數(shù)據(jù)與互聯(lián)網(wǎng): 觸動數(shù)字經(jīng)濟快捷鍵00
1.1.1數(shù)字經(jīng)濟到來,產(chǎn)業(yè)革命加速00
1.1.2大數(shù)據(jù)技術: 從實驗環(huán)境走向現(xiàn)實環(huán)境00
1.1.3互聯(lián)網(wǎng)發(fā)展加速數(shù)據(jù)閉環(huán)融合0
1.2熵減: 數(shù)據(jù)能量引入新秩序0
1.2.1從熵的角度看數(shù)據(jù)價值0
1.2.2數(shù)字化的本質是引入經(jīng)濟活動秩序0
1.3通往數(shù)據(jù)自由: 數(shù)字經(jīng)濟之現(xiàn)狀0
1.3.1信息化浪潮: 數(shù)字經(jīng)濟發(fā)展的必經(jīng)之路0
1.3.2當數(shù)據(jù)科學走向實用化: 數(shù)字化創(chuàng)新0
1.3.3數(shù)字化產(chǎn)業(yè)服務: 轉型的技術落地0
第二部分數(shù)據(jù)科學原理
第2章關于數(shù)據(jù)的真相0
2.1數(shù)據(jù)的價值: 事實還是知識0
2.1.1數(shù)據(jù)的事實價值0
2.1.2數(shù)據(jù)的知識價值0
2.2數(shù)據(jù)怎么用,就看維度與規(guī)模0
2.2.1數(shù)據(jù)維度決定創(chuàng)新性0
2.2.2數(shù)據(jù)規(guī)模決定可靠性0
2.3數(shù)據(jù)科學家關心的那些事兒0
2.3.1數(shù)據(jù)采集與管理0
2.3.2數(shù)據(jù)存儲與計算0
2.3.3數(shù)據(jù)分析與應用0
第三部分數(shù)據(jù)科學技術
第3章如何獲取有用的數(shù)據(jù)0
3.1數(shù)據(jù)感知: 業(yè)務活動到數(shù)字世界的映射0
3.1.1數(shù)據(jù)硬感知0
3.1.2數(shù)據(jù)軟感知0
3.2信息提取: 讓數(shù)據(jù)長成看得懂的樣子0
3.2.1自然語言處理0
3.2.2語音識別0
3.2.3計算機視覺0
3.3信息檢索: 大數(shù)據(jù)世界的淘金0
3.3.1結構化信息檢索0
3.3.2非結構化信息檢索
3.3.3問答系統(tǒng)
第4章從數(shù)據(jù)中尋找規(guī)律
4.1對數(shù)據(jù)的客觀描述: 統(tǒng)計分析
4.1.1基本分析
4.1.2二維度分析
4.1.3位置分析
4.2從數(shù)據(jù)中提取知識: 規(guī)則挖掘
4.2.1知識規(guī)則挖掘方法
4.2.2知識規(guī)則業(yè)務應用
4.3看圖說話: 數(shù)據(jù)可視化之美
4.3.1數(shù)據(jù)可視化應用場景
4.3.2數(shù)據(jù)可視化相關技術
第5章從數(shù)據(jù)獲得智能
5.1機器學習方法及常見模型
5.1.1機器學習基本概念
5.1.2機器學習基本要素
5.1.3機器學習常見模型
5.2深度學習方法及常見模型
5.2.1深度學習基本概念
5.2.2深度學習常見模型
5.3其他建模技術
5.3.1強化學習
5.3.2從智能到智慧: 學習任務泛化
5.3.3其他機器學習策略
第6章企業(yè)數(shù)字化建設
6.1中臺: 數(shù)字創(chuàng)新的內核發(fā)動機
6.1.1中臺對企業(yè)的意義
6.1.2數(shù)據(jù)中臺的發(fā)展階段
6.1.3數(shù)據(jù)中臺的組成部分
6.2大數(shù)據(jù)框架: 數(shù)字化應用的服務能力保障
6.2.1大數(shù)據(jù)存儲
6.2.2大數(shù)據(jù)收集
6.2.3大數(shù)據(jù)計算
6.2.4大數(shù)據(jù)集群管理
6.3云計算: 讓企業(yè)快速構建數(shù)字化能力
6.3.1軟件服務化
6.3.2云計算
第四部分數(shù)字化業(yè)務實踐
第7章企業(yè)數(shù)字化管理
7.1數(shù)據(jù)管理活動框架
7.1.1數(shù)據(jù)治理
7.1.2數(shù)據(jù)生命周期管理
7.1.3基礎活動
7.2數(shù)據(jù)體系規(guī)劃
7.2.1數(shù)據(jù)架構
7.2.2數(shù)據(jù)建模
7.3數(shù)據(jù)內容管理
7.3.1事務數(shù)據(jù)管理
7.3.2基礎數(shù)據(jù)管理
第8章數(shù)字化產(chǎn)業(yè)實踐
8.1非數(shù)字原生企業(yè)轉型之困
8.1.1大型企業(yè)的數(shù)字化轉型問題剖析
8.1.2中小企業(yè)的數(shù)字化轉型問題剖析
8.2數(shù)字化組織與人才
8.2.1數(shù)字化組織
8.2.2數(shù)字化人才
8.3數(shù)字化產(chǎn)業(yè)實踐
8.3.1消費與金融數(shù)字化產(chǎn)業(yè)實踐
8.3.2生產(chǎn)制造數(shù)字化產(chǎn)業(yè)實踐
8.3.3公共服務數(shù)字化產(chǎn)業(yè)實踐