騰訊作為一家以互聯(lián)網為基礎的科技與文化公司，其互聯(lián)網業(yè)務與億萬網民的日常生活息息相關，從社交平臺出發(fā)，已拓展至娛樂、金融、資訊、工具、流量平臺等多個業(yè)務板塊。2019年，馬化騰公布騰訊公司的新愿景為用戶為本，科技向善，目前已經踐行多個科技向善落地方案，例如與政府合作的AI尋人、AI醫(yī)學影像產品騰訊覓影，以及培育高產量AI黃瓜等項目，而這些項目的背后無不是以騰訊大數據作為底層支撐，通過AI賦能創(chuàng)造可以為社會帶來實際價值的產品。
騰訊數據人每天不得不面對海量的數據處理需求，例如用戶每天在微信朋友圈和QQ空間上傳的圖片超過10億張，騰訊視頻每天播放量超過20億次，除夕當天紅包支付超過25億筆，每天移動支付超過5億筆，這些數據規(guī)模在國內均居行業(yè)前列。
伴隨著業(yè)務的迅猛發(fā)展，騰訊大數據平臺十年磨一劍，已經初步搭建完成了數據采集、存儲、計算、應用、運維、治理等一整套大數據業(yè)務處理平臺。本書正是在此背景下應運而生的，首次對外詳細闡述了騰訊大數據平臺系統(tǒng)架構，以及多年來平臺建設的思考與沉淀。
本書內容總體分成兩大部分，第一部分主要講述騰訊大數據平臺的技術體系，第二部分主要講述騰訊大數據通過騰訊云對外開放的一系列產品。主要包括：
一、騰訊大數據的起源、技術理念及發(fā)展歷程：重點講述騰訊大數據從無到有的故事、開源路線選擇的思考以及三代大數據平臺架構的技術演進。
二、數據實時采集平臺：重點講述騰訊自主研發(fā)的高并發(fā)消息中間件，該平臺在騰訊內部使用超過十年，每天接入數十萬億級的消息。
三、分布式存儲平臺：講述廣受歡迎的HDFS、Ceph、HBase等開源組件，并重點闡述下一代分布式存儲平臺Ozone。
四、分布式計算平臺：重點講述騰訊大數據歷經十年發(fā)展的變遷史，從Hadoop到Spark，從Storm到Flink的發(fā)展史，同時也講述任務調度系統(tǒng)及多種計算分析引擎。
五、資源調度平臺：重點講述如何實現(xiàn)十萬節(jié)點級別的大規(guī)模集群的調度管理，闡述CPU、GPU、內存、磁盤、網絡等資源調度的優(yōu)化。
六、數據治理體系：涉及元數據、數據資產管理、數據安全等內容。
七、機器學習平臺：介紹騰訊大數據自主研發(fā)的高性能分布式機器學習平臺Angel，這是國內首個在全球范圍的頂級開源社區(qū)畢業(yè)的機器學習平臺。
八、數據內容挖掘：主要講述對數據價值的挖掘、以用戶畫像為核心的數據內容的挖掘。
九、大數據平臺運營：大數據平臺的核心競爭力很大一部分來自平臺的運維與運營，騰訊大數據平臺的機器節(jié)點規(guī)模超過十萬臺，但騰訊大數據運維團隊只有二三十人，這里主要講述運維團隊經歷的方方面面。
十、對外開放的騰訊大數據能力：講述騰訊大數據套件TBDS、一站式機器學習平臺智能鈦TI，也講述每天推送量達到數百億的移動推送平臺，重點披露承載了騰訊大數據超過500萬核的底層算力平臺的技術實踐細節(jié)，還有智能客服機器人、數據可視化產品等。
本書由騰訊數據平臺部組織編寫，詳盡地記錄了騰訊大數據技術發(fā)展與演進各個階段所使用的技術，也記錄了騰訊大數據團隊經歷過的各種考驗，希望可以給各位同行及有志于從事大數據行業(yè)的朋友一些啟發(fā)與借鑒。