大數(shù)據(jù)相關(guān)的崗位近年來增長不少，有不少朋友都在轉(zhuǎn)這個方向，下面是最近整理的大數(shù)據(jù)技術(shù)知識庫，供大家參考：
【資料圖】
大數(shù)據(jù)技術(shù)知識庫 2022
計算機組成原理
雖然很多人只要會寫 SQL 就能找到工作了，但畢竟上升的天花板很有限，技術(shù)往深了研究，逃不開計算機硬件本身的原理，建議大家盡可能熟悉一些計算機硬件系統(tǒng)的組織結(jié)構(gòu)和工作原理。
起碼要能分得清啥是「內(nèi)存」，啥是「硬盤」...
「公開課」
《計算機組成原理》課程，哈爾濱工業(yè)大學(xué)，劉宏偉，國家級精品課程: https://www.bilibili.com/video/BV1t4411e7LH/「付費課」
《深入淺出計算機組成原理》，徐文浩 bothub 創(chuàng)始人: http://gk.link/a/11F9P「推薦書」
《計算機組成原理》: https://u.jd.com/UI14dUf《深入理解計算機系統(tǒng)》: https://u.jd.com/UMgEXSa操作系統(tǒng)
操作系統(tǒng)（Operating System，簡稱OS）是管理和控制計算機硬件與軟件資源，直接運行在“裸機”上的最基本的系統(tǒng)軟件，任何其他軟件都必須在操作系統(tǒng)的支持下才能運行。操作系統(tǒng)是用戶和計算機的接口，同時也是計算機硬件和其他軟件的接口。操作系統(tǒng)的功能包括管理計算機系統(tǒng)的硬件、軟件及數(shù)據(jù)資源，控制程序運行，提供人機交互界面，為其它應(yīng)用軟件提供支持等。
Hadoop、Kafka、Elasticsearch 等大數(shù)據(jù)相關(guān)組件，在運行前都需要調(diào)整操作系統(tǒng)的一些參數(shù)才能發(fā)揮更大的性能，涉及到性能相關(guān)的優(yōu)化，避不開操作系統(tǒng)的知識。
「公開課」
《操作系統(tǒng)》課程，哈爾濱工業(yè)大學(xué)，李治軍: https://www.bilibili.com/video/BV1d4411v7u7/「付費課」
《趣談 Linux 操作系統(tǒng)》， 劉超 前網(wǎng)易杭州研究院云計算技術(shù)部首席架構(gòu)師: http://gk.link/a/11F9U「推薦書」
《現(xiàn)代操作系統(tǒng)》: https://u.jd.com/UIg8tir數(shù)據(jù)結(jié)構(gòu)與算法
計算機是現(xiàn)代社會中用于解決問題的重要工具，支撐這個工具高效運轉(zhuǎn)的就是其后的各種系統(tǒng)程序、應(yīng)用程序。圖靈獎獲得者N.Wirth寫了一本經(jīng)典著作“程序=算法+數(shù)據(jù)結(jié)構(gòu)”。數(shù)據(jù)結(jié)構(gòu)，是抽象的表示數(shù)據(jù)的方式；算法，則是計算的一系列有效、通用的步驟。算法與數(shù)據(jù)結(jié)構(gòu)是程序設(shè)計中相輔相成的兩個方面，是計算機學(xué)科的重要基石。
不多說，這個是程序員的基礎(chǔ)課！
「公開課」
【尚硅谷】數(shù)據(jù)結(jié)構(gòu)與算法（Java數(shù)據(jù)結(jié)構(gòu)與算法）: https://www.bilibili.com/video/BV1E4411H73v「付費課」
《數(shù)據(jù)結(jié)構(gòu)與算法之美》，王爭 前 Google 工程師: http://gk.link/a/11Fa7「推薦書」
《數(shù)據(jù)結(jié)構(gòu)與算法分析：Java語言描述》: https://u.jd.com/UIgWiBF計算機網(wǎng)絡(luò)
大數(shù)據(jù)應(yīng)用，背后都是由運行在多臺服務(wù)器上的多個服務(wù)組成的，服務(wù)與服務(wù)之間需要通過網(wǎng)絡(luò)來交流，熟悉計算機網(wǎng)絡(luò)能幫你快速解決大數(shù)據(jù)應(yīng)用里許多莫名其妙的問題:)
「公開課」
中科大鄭烇、楊堅全套《計算機網(wǎng)絡(luò)（自頂向下方法 第7版》: https://www.bilibili.com/video/BV1JV411t7ow《計算機網(wǎng)絡(luò)》，哈爾濱工業(yè)大學(xué): https://www.icourse163.org/course/hit-154005「付費課」
《趣談網(wǎng)絡(luò)協(xié)議》，劉超 前網(wǎng)易研究院云計算技術(shù)部首席架構(gòu)師: http://gk.link/a/11Fa9「推薦書」
《計算機網(wǎng)絡(luò)：自頂向下方法》: https://u.jd.com/UKgZ6R0《計算機網(wǎng)絡(luò)》: https://u.jd.com/UIgJNgeLinux系統(tǒng)
幾乎所有大數(shù)據(jù)組件都運行在 Linux 上，得懂?。?/p>
「公開課」
【尚硅谷】《3天搞定Linux，1天搞定Shell，清華學(xué)神帶你通關(guān)（2022版）》: https://www.bilibili.com/video/BV1WY4y1H7d3「付費課」
《Linux 實戰(zhàn)技能 100 講》，尹會生 前游戲公司技術(shù)總監(jiān)，前新浪網(wǎng)技術(shù)經(jīng)理: http://gk.link/a/11Fac《Linux 性能優(yōu)化實戰(zhàn)》，倪朋飛 資深 Linux 專家，Kubernetes 項目維護(hù)者: http://gk.link/a/11Fad「推薦書」
《鳥哥的Linux私房菜 基礎(chǔ)學(xué)習(xí)篇》: https://u.jd.com/UwgWOO2《Linux命令行與shell腳本編程大全》: https://u.jd.com/UtgZTabJava
Hadoop、Spark、Flink，這些大數(shù)據(jù)組件的源代碼都用到了 Java，不懂點 Java 可能連 Hadoop 的報錯都看不懂。普通的 SQL 開發(fā)者與專家之間的區(qū)別，有一點就是：專家遇到了問題，懂得看源碼來解決；而普通開發(fā)者搜索搜不出來就只能干等著了。
「公開課」
【尚硅谷】《Java入門視頻教程》: https://www.bilibili.com/video/BV1Kb411W75N【尚硅谷】《宋紅康JVM全套教程》: https://www.bilibili.com/video/BV1PJ411n7xZ/「付費課」
《零基礎(chǔ)學(xué) Java》，臧萌 PayPal 數(shù)據(jù)處理組技術(shù)負(fù)責(zé)人: http://gk.link/a/11Fco《Java 性能調(diào)優(yōu)實戰(zhàn)》，劉超 前金山軟件技術(shù)經(jīng)理: http://gk.link/a/11Fcp「推薦書」
《Java編程思想》: https://u.jd.com/UM3tXxr《Java核心技術(shù)》: https://u.jd.com/UKDR0ej《深入理解Java虛擬機：JVM高級特性與最佳實踐》: https://u.jd.com/UdDRSAZScala
Spark、Flink、Kafka 的核心代碼是通過 Scala 實現(xiàn)的，如果要掌握這些技術(shù)，免不了！
「公開課」
【尚硅谷】《大數(shù)據(jù)技術(shù)之Scala入門到精通教程》: https://www.bilibili.com/video/BV1Xh411S7bP「推薦書」
《Scala編程》: https://u.jd.com/UwDRTPo《Scala學(xué)習(xí)手冊》: https://u.jd.com/ULDAqvNPython
Python，著名「膠水語言」，易上手、靈活、有各種各樣的庫，做數(shù)據(jù)分析會用到。
「公開課」
【尚硅谷】《Python零基礎(chǔ)入門教程全套完整版》: https://www.bilibili.com/video/BV1hW41197sB「付費課」
《零基礎(chǔ)學(xué) Python》，尹會生 前游戲公司技術(shù)總監(jiān)，前新浪網(wǎng)技術(shù)經(jīng)理: http://gk.link/a/11Fct「推薦書」
《Python學(xué)習(xí)手冊》: https://u.jd.com/UID7tS1《Python基礎(chǔ)教程》: https://u.jd.com/UK38KhPMySQL
寫 SQL 比直接寫 Java 或者 Scala 代碼要門檻低一些，Hive、Spark、Flink 都提供了 SQL 給大家使用。作「數(shù)據(jù)的搬運工」，寫 SQL 是大數(shù)據(jù)開發(fā)人員最容易上任的一項工作了。
通過 MySQL 來了解下傳統(tǒng)數(shù)據(jù)庫的原理，以及 SQL 的基本用法。
「公開課」
【尚硅谷】《MySQL數(shù)據(jù)庫教程天花板，mysql安裝到mysql高級，強！硬！》: https://www.bilibili.com/video/BV1iq4y1u7vj「推薦書」
《MySQL必知必會》: https://u.jd.com/UI3dyFN《深入淺出MySQL 數(shù)據(jù)庫開發(fā) 優(yōu)化與管理維護(hù)》: https://u.jd.com/UL3t11U《高性能MySQL》: https://u.jd.com/Ud32q4G分布式系統(tǒng)
熟悉傳統(tǒng)數(shù)據(jù)庫的同學(xué)，如果不了解分布式數(shù)據(jù)庫的話，往往在使用大數(shù)據(jù)技術(shù)的過程中會感到很差異：為啥跑個 SparkSQL 這么慢，同樣的數(shù)據(jù)量，在單機 MySQL 里幾百毫秒就跑完了， Hadoop 用了10臺服務(wù)器還要這么久？同樣的 SparkSQL，昨天還能跑成功呢，今天咋就失敗了呢？
分布式系統(tǒng)，了解一下~
「公開課」
《【麻省理工學(xué)院—中文字幕】也只有MIT大佬才能把分布式系統(tǒng)講的明明白白，油管超人氣Java公開課》: https://www.bilibili.com/video/BV1CU4y1P7PE「付費課」
《深入淺出分布式技術(shù)原理》，陳現(xiàn)麟 伴魚技術(shù)中臺負(fù)責(zé)人，前小米工程師: http://gk.link/a/11Fcw《分布式系統(tǒng)案例課》，楊波 前攜程 / 拍拍貸技術(shù)總監(jiān)，微服務(wù)技術(shù)專家: http://gk.link/a/11Fcx「推薦書」
《分布式系統(tǒng)：概念與設(shè)計》: https://u.jd.com/UM3yOfxNetty
Netty是一個高性能、異步事件驅(qū)動的NIO框架，它提供了對TCP、UDP和文件傳輸?shù)闹С?，作為一個異步NIO框架，Netty的所有IO操作都是異步非阻塞的，通過Future-Listener機制，用戶可以方便的主動獲取或者通過通知機制獲得IO操作結(jié)果。
作為當(dāng)前最流行的NIO框架，Netty在互聯(lián)網(wǎng)領(lǐng)域、大數(shù)據(jù)分布式計算領(lǐng)域、游戲行業(yè)、通信行業(yè)等獲得了廣泛的應(yīng)用，一些業(yè)界著名的開源組件也基于Netty的NIO框架構(gòu)建。
「公開課」
【尚硅谷】《Netty視頻教程》: https://www.bilibili.com/video/BV1DJ411m7NR「付費課」
《Netty 源碼剖析與實戰(zhàn)》，傅健 Netty 源碼貢獻(xiàn)者、Cisco 高級軟件工程師: http://gk.link/a/11Fcy「推薦書」
《Netty權(quán)威指南》: https://u.jd.com/Uw3tVMA《Netty實戰(zhàn)》: https://u.jd.com/UK3DLDWHadoop
Hadoop是大數(shù)據(jù)領(lǐng)域最成熟的技術(shù)了，雖然新技術(shù)層出不窮，但 Hadoop 就是死不了，每個公司搞大數(shù)據(jù)都逃不掉要用 Hadoop。
「公開課」
《尚硅谷大數(shù)據(jù)Hadoop教程》: https://www.bilibili.com/video/BV1Qp4y1n7EN【尚硅谷】《Hadoop3.x高可用集群，HDFS、Yarn集群》: https://www.bilibili.com/video/BV1EP4y1j7V1「付費課」
《從 0 開始學(xué)大數(shù)據(jù)》，李智慧 同程藝龍交通首席架構(gòu)師，前 Intel 大數(shù)據(jù)架構(gòu)師，《大型網(wǎng)站技術(shù)架構(gòu)》作者: http://gk.link/a/11FlI《大數(shù)據(jù)經(jīng)典論文解讀》，徐文浩 bothub 創(chuàng)始人: http://gk.link/a/11FlK「推薦書」
《Hadoop權(quán)威指南：大數(shù)據(jù)的存儲與分析》: https://u.jd.com/UK33txlHDFS
HDFS 是 Hadoop 中的分布式文件系統(tǒng)，基礎(chǔ)，必懂！
「推薦書」
《Hadoop技術(shù)內(nèi)幕:深入解析HadoopCommon和HDFS架構(gòu)設(shè)計》: https://u.jd.com/Ut38weSMapReduce
傳統(tǒng)的程序運行過程中，是把數(shù)據(jù)拿過來計算，而數(shù)據(jù)量太大的時候，把那么多的數(shù)據(jù)都挨個再「拿」過來，就不劃算了；大數(shù)據(jù)講究的是把計算移動到數(shù)據(jù)那里去「算」，這就是 MapReduce 要做的事兒。
「推薦書」
《MapReduce 2.0源碼分析與編程實戰(zhàn)》: https://u.jd.com/UM3yelSYarn
Yarn 是 Hadoop 中管理集群中所有服務(wù)器資源的資源調(diào)度框架，計算數(shù)據(jù)要用到服務(wù)器的 CPU 和內(nèi)存，要多少合適呢？程序跑得快不快，跟 Yarn 給你分配的資源有很大關(guān)系。
「推薦書」
《Hadoop技術(shù)內(nèi)幕 深入解析YARN架構(gòu)設(shè)計與實現(xiàn)原理》: https://u.jd.com/UL3Ydc4Zookeeper
ZooKeeper 是一個開源的分布式協(xié)調(diào)服務(wù)，協(xié)調(diào)啥呢？比如，HDFS 安排了兩個 NameNode 組成 HA，但同一時刻，由哪個 NameNode 來當(dāng)大哥呢？讓這倆 NameNode 都注冊到 Zookeeper 里，交給 Zookeeper 來決定！
「公開課」
【尚硅谷】《大數(shù)據(jù)技術(shù)之Zookeeper 3.5.7版本教程》: https://www.bilibili.com/video/BV1to4y1C7gw「付費課」
《ZooKeeper 實戰(zhàn)與源碼剖析》，么敬國 新東方集團(tuán)首席架構(gòu)師: http://gk.link/a/11FcB「推薦書」
《ZooKeeper：分布式過程協(xié)同技術(shù)詳解》: https://u.jd.com/Ut32vnjHive
不想寫 Java 代碼處理大量數(shù)據(jù)，只想寫幾行 SQL 算算，那就用 Hive 吧~
「公開課」
【尚硅谷】《大數(shù)據(jù)技術(shù)之Hive源碼編譯詳解》: https://www.bilibili.com/video/BV1x14y177Ab【尚硅谷】《大數(shù)據(jù)Hive高級進(jìn)階教程》: https://www.bilibili.com/video/BV1Cb4y1r7p2「推薦書」
《Hive編程指南》: https://u.jd.com/UC3rlrv《Hive實戰(zhàn)》: https://u.jd.com/UL3yyRDSpark
Hive 原先是基于 MapReduce 實現(xiàn)的，慢！換 Spark 看看~
「公開課」
【尚硅谷】《大數(shù)據(jù)Spark教程從入門到精通》: https://www.bilibili.com/video/BV11A411L7CK【尚硅谷】《大數(shù)據(jù)Spark3.0調(diào)優(yōu)，Spark3.x性能優(yōu)化》: https://www.bilibili.com/video/BV1QY411x7xL「付費課」
《零基礎(chǔ)入門 Spark》，吳磊 FreeWheel 機器學(xué)習(xí)研發(fā)經(jīng)理: http://gk.link/a/11FcC《Spark 性能調(diào)優(yōu)實戰(zhàn)》，吳磊 FreeWheel 機器學(xué)習(xí)團(tuán)隊負(fù)責(zé)人: http://gk.link/a/11FcD「推薦書」
《Spark權(quán)威指南》: https://u.jd.com/UK3rHSZ《Spark大數(shù)據(jù)商業(yè)實戰(zhàn)三部曲：內(nèi)核解密 商業(yè)案例 性能調(diào)優(yōu)》: https://u.jd.com/Uw3nw6bKafka
Kafka 是 LinkedIn 開發(fā)并開源的一套分布式的高性能消息引擎服務(wù)，后來被越來越多的公司應(yīng)用在自己的系統(tǒng)中，可以說，Kafka 是大數(shù)據(jù)時代數(shù)據(jù)管道技術(shù)的首選。在設(shè)計的時候，它就實現(xiàn)了高可靠、高吞吐、高可用和可伸縮，得益于這些特性，加上活躍的社區(qū)，Kafka 成為了一個完備的分布式消息引擎解決方案。
歷經(jīng)多年發(fā)展，Kafka 的功能和特性也在不斷迭代，如今的 Kafka 集消息系統(tǒng)、存儲系統(tǒng)和流式處理平臺于一身，并作為連接著各種業(yè)務(wù)前臺和數(shù)據(jù)后臺的消息中間件，在線上環(huán)境承擔(dān)了非常重要的作用。
「公開課」
【尚硅谷】《2022版Kafka3.x教程（從入門到調(diào)優(yōu)，深入全面）》: https://www.bilibili.com/video/BV1vr4y1677k/「付費課」
《Kafka 核心技術(shù)與實戰(zhàn)》，胡夕 Apache Kafka Committer，老虎證券技術(shù)總監(jiān): http://gk.link/a/11FcG《Kafka 核心源碼解讀》，胡夕 Apache Kafka Committer，老虎證券技術(shù)總監(jiān): http://gk.link/a/11FcH「推薦書」
《Kafka權(quán)威指南》: https://u.jd.com/UL3DEDh《Kafka技術(shù)內(nèi)幕 圖文詳解Kafka源碼設(shè)計與實現(xiàn)》: https://u.jd.com/UC3ytxR《深入理解Kafka：核心設(shè)計與實踐原理》: https://u.jd.com/Ut3vuX2Flink
目前大部分公司的大數(shù)據(jù)處理工作，使用的還是離線處理技術(shù)，但未來，流式計算必定會成為分布式計算的重要方向之一。如果你想要掌握一門具有前瞻性的流式計算處理技術(shù)，F(xiàn)link 必然是你的首選。目前為止，開源界唯一真正同時做到低時延，數(shù)據(jù)一致性保障以及高吞吐的大數(shù)據(jù)處理技術(shù)，也只有 Flink。它可以在毫秒級的延遲情況下，實現(xiàn)每秒鐘處理上億次的消息或者事件。
「公開課」
【尚硅谷】《2022版Flink1.13實戰(zhàn)教程（涵蓋所有flink-Java知識點）》: https://www.bilibili.com/video/BV133411s7Sa「付費課」
《Flink 核心技術(shù)與實戰(zhàn)》，張利兵 第四范式數(shù)據(jù)中臺架構(gòu)師，Apache Flink 貢獻(xiàn)者: http://gk.link/a/11FcI「推薦書」
《深入理解Flink核心設(shè)計與實踐原理》: https://u.jd.com/UC3Y9Wh數(shù)據(jù)倉庫
掌握了那么多開發(fā)技術(shù)，不就是老板要你建數(shù)倉嘛~
「公開課」
【尚硅谷】《大數(shù)據(jù)項目【電商數(shù)倉5.0】》: https://www.bilibili.com/video/BV1AT411j7hu【尚硅谷】《Flink實時數(shù)倉3.0》: https://www.bilibili.com/video/BV1TG411a7nL「推薦書」
《數(shù)據(jù)倉庫》: https://u.jd.com/UM3YZF8《Hadoop構(gòu)建數(shù)據(jù)倉庫實踐》: https://u.jd.com/Ud3yCRC數(shù)據(jù)治理
建數(shù)倉只是第一步，數(shù)據(jù)得管理好才行~
「推薦書」
《數(shù)據(jù)管理&治理3部曲：一本書講透數(shù)據(jù)治理+DAMA數(shù)據(jù)管理知識體系指南+數(shù)據(jù)治理 全三冊》: https://u.jd.com/UC3Sfnc數(shù)據(jù)中臺
2016年至2020年間，數(shù)據(jù)中臺的概念很火，現(xiàn)在是落地的時候了，每個企業(yè)都不好忽悠，得為企業(yè)產(chǎn)生真正的利益才行~
「公開課」
《武凱說》: https://space.bilibili.com/39431579/channel/seriesdetail?sid=2158634「付費課」
《數(shù)據(jù)中臺實戰(zhàn)課》，郭憶 網(wǎng)易大數(shù)據(jù)專家: http://gk.link/a/11FcK「推薦書」
《數(shù)據(jù)中臺：讓數(shù)據(jù)用起來》: https://u.jd.com/UL33szb標(biāo)簽： https 網(wǎng)絡(luò)安全 HTTP 數(shù)據(jù)處理 Kafka
