大數(shù)據(jù)相關(guān)的崗位近年來(lái)增長(zhǎng)不少，有不少朋友都在轉(zhuǎn)這個(gè)方向，下面是最近整理的大數(shù)據(jù)技術(shù)知識(shí)庫(kù)，供大家參考：
【資料圖】
大數(shù)據(jù)技術(shù)知識(shí)庫(kù) 2022
計(jì)算機(jī)組成原理
雖然很多人只要會(huì)寫(xiě) SQL 就能找到工作了，但畢竟上升的天花板很有限，技術(shù)往深了研究，逃不開(kāi)計(jì)算機(jī)硬件本身的原理，建議大家盡可能熟悉一些計(jì)算機(jī)硬件系統(tǒng)的組織結(jié)構(gòu)和工作原理。
起碼要能分得清啥是「內(nèi)存」，啥是「硬盤(pán)」...
「公開(kāi)課」
《計(jì)算機(jī)組成原理》課程，哈爾濱工業(yè)大學(xué)，劉宏偉，國(guó)家級(jí)精品課程: https://www.bilibili.com/video/BV1t4411e7LH/「付費(fèi)課」
《深入淺出計(jì)算機(jī)組成原理》，徐文浩 bothub 創(chuàng)始人: http://gk.link/a/11F9P「推薦書(shū)」
《計(jì)算機(jī)組成原理》: https://u.jd.com/UI14dUf《深入理解計(jì)算機(jī)系統(tǒng)》: https://u.jd.com/UMgEXSa操作系統(tǒng)
操作系統(tǒng)（Operating System，簡(jiǎn)稱(chēng)OS）是管理和控制計(jì)算機(jī)硬件與軟件資源，直接運(yùn)行在“裸機(jī)”上的最基本的系統(tǒng)軟件，任何其他軟件都必須在操作系統(tǒng)的支持下才能運(yùn)行。操作系統(tǒng)是用戶(hù)和計(jì)算機(jī)的接口，同時(shí)也是計(jì)算機(jī)硬件和其他軟件的接口。操作系統(tǒng)的功能包括管理計(jì)算機(jī)系統(tǒng)的硬件、軟件及數(shù)據(jù)資源，控制程序運(yùn)行，提供人機(jī)交互界面，為其它應(yīng)用軟件提供支持等。
Hadoop、Kafka、Elasticsearch 等大數(shù)據(jù)相關(guān)組件，在運(yùn)行前都需要調(diào)整操作系統(tǒng)的一些參數(shù)才能發(fā)揮更大的性能，涉及到性能相關(guān)的優(yōu)化，避不開(kāi)操作系統(tǒng)的知識(shí)。
「公開(kāi)課」
《操作系統(tǒng)》課程，哈爾濱工業(yè)大學(xué)，李治軍: https://www.bilibili.com/video/BV1d4411v7u7/「付費(fèi)課」
《趣談 Linux 操作系統(tǒng)》， 劉超 前網(wǎng)易杭州研究院云計(jì)算技術(shù)部首席架構(gòu)師: http://gk.link/a/11F9U「推薦書(shū)」
《現(xiàn)代操作系統(tǒng)》: https://u.jd.com/UIg8tir數(shù)據(jù)結(jié)構(gòu)與算法
計(jì)算機(jī)是現(xiàn)代社會(huì)中用于解決問(wèn)題的重要工具，支撐這個(gè)工具高效運(yùn)轉(zhuǎn)的就是其后的各種系統(tǒng)程序、應(yīng)用程序。圖靈獎(jiǎng)獲得者N.Wirth寫(xiě)了一本經(jīng)典著作“程序=算法+數(shù)據(jù)結(jié)構(gòu)”。數(shù)據(jù)結(jié)構(gòu)，是抽象的表示數(shù)據(jù)的方式；算法，則是計(jì)算的一系列有效、通用的步驟。算法與數(shù)據(jù)結(jié)構(gòu)是程序設(shè)計(jì)中相輔相成的兩個(gè)方面，是計(jì)算機(jī)學(xué)科的重要基石。
不多說(shuō)，這個(gè)是程序員的基礎(chǔ)課！
「公開(kāi)課」
【尚硅谷】數(shù)據(jù)結(jié)構(gòu)與算法（Java數(shù)據(jù)結(jié)構(gòu)與算法）: https://www.bilibili.com/video/BV1E4411H73v「付費(fèi)課」
《數(shù)據(jù)結(jié)構(gòu)與算法之美》，王爭(zhēng) 前 Google 工程師: http://gk.link/a/11Fa7「推薦書(shū)」
《數(shù)據(jù)結(jié)構(gòu)與算法分析：Java語(yǔ)言描述》: https://u.jd.com/UIgWiBF計(jì)算機(jī)網(wǎng)絡(luò)
大數(shù)據(jù)應(yīng)用，背后都是由運(yùn)行在多臺(tái)服務(wù)器上的多個(gè)服務(wù)組成的，服務(wù)與服務(wù)之間需要通過(guò)網(wǎng)絡(luò)來(lái)交流，熟悉計(jì)算機(jī)網(wǎng)絡(luò)能幫你快速解決大數(shù)據(jù)應(yīng)用里許多莫名其妙的問(wèn)題:)
「公開(kāi)課」
中科大鄭烇、楊堅(jiān)全套《計(jì)算機(jī)網(wǎng)絡(luò)（自頂向下方法 第7版》: https://www.bilibili.com/video/BV1JV411t7ow《計(jì)算機(jī)網(wǎng)絡(luò)》，哈爾濱工業(yè)大學(xué): https://www.icourse163.org/course/hit-154005「付費(fèi)課」
《趣談網(wǎng)絡(luò)協(xié)議》，劉超 前網(wǎng)易研究院云計(jì)算技術(shù)部首席架構(gòu)師: http://gk.link/a/11Fa9「推薦書(shū)」
《計(jì)算機(jī)網(wǎng)絡(luò)：自頂向下方法》: https://u.jd.com/UKgZ6R0《計(jì)算機(jī)網(wǎng)絡(luò)》: https://u.jd.com/UIgJNgeLinux系統(tǒng)
幾乎所有大數(shù)據(jù)組件都運(yùn)行在 Linux 上，得懂?。?/p>
「公開(kāi)課」
【尚硅谷】《3天搞定Linux，1天搞定Shell，清華學(xué)神帶你通關(guān)（2022版）》: https://www.bilibili.com/video/BV1WY4y1H7d3「付費(fèi)課」
《Linux 實(shí)戰(zhàn)技能 100 講》，尹會(huì)生 前游戲公司技術(shù)總監(jiān)，前新浪網(wǎng)技術(shù)經(jīng)理: http://gk.link/a/11Fac《Linux 性能優(yōu)化實(shí)戰(zhàn)》，倪朋飛 資深 Linux 專(zhuān)家，Kubernetes 項(xiàng)目維護(hù)者: http://gk.link/a/11Fad「推薦書(shū)」
《鳥(niǎo)哥的Linux私房菜 基礎(chǔ)學(xué)習(xí)篇》: https://u.jd.com/UwgWOO2《Linux命令行與shell腳本編程大全》: https://u.jd.com/UtgZTabJava
Hadoop、Spark、Flink，這些大數(shù)據(jù)組件的源代碼都用到了 Java，不懂點(diǎn) Java 可能連 Hadoop 的報(bào)錯(cuò)都看不懂。普通的 SQL 開(kāi)發(fā)者與專(zhuān)家之間的區(qū)別，有一點(diǎn)就是：專(zhuān)家遇到了問(wèn)題，懂得看源碼來(lái)解決；而普通開(kāi)發(fā)者搜索搜不出來(lái)就只能干等著了。
「公開(kāi)課」
【尚硅谷】《Java入門(mén)視頻教程》: https://www.bilibili.com/video/BV1Kb411W75N【尚硅谷】《宋紅康JVM全套教程》: https://www.bilibili.com/video/BV1PJ411n7xZ/「付費(fèi)課」
《零基礎(chǔ)學(xué) Java》，臧萌 PayPal 數(shù)據(jù)處理組技術(shù)負(fù)責(zé)人: http://gk.link/a/11Fco《Java 性能調(diào)優(yōu)實(shí)戰(zhàn)》，劉超 前金山軟件技術(shù)經(jīng)理: http://gk.link/a/11Fcp「推薦書(shū)」
《Java編程思想》: https://u.jd.com/UM3tXxr《Java核心技術(shù)》: https://u.jd.com/UKDR0ej《深入理解Java虛擬機(jī)：JVM高級(jí)特性與最佳實(shí)踐》: https://u.jd.com/UdDRSAZScala
Spark、Flink、Kafka 的核心代碼是通過(guò) Scala 實(shí)現(xiàn)的，如果要掌握這些技術(shù)，免不了！
「公開(kāi)課」
【尚硅谷】《大數(shù)據(jù)技術(shù)之Scala入門(mén)到精通教程》: https://www.bilibili.com/video/BV1Xh411S7bP「推薦書(shū)」
《Scala編程》: https://u.jd.com/UwDRTPo《Scala學(xué)習(xí)手冊(cè)》: https://u.jd.com/ULDAqvNPython
Python，著名「膠水語(yǔ)言」，易上手、靈活、有各種各樣的庫(kù)，做數(shù)據(jù)分析會(huì)用到。
「公開(kāi)課」
【尚硅谷】《Python零基礎(chǔ)入門(mén)教程全套完整版》: https://www.bilibili.com/video/BV1hW41197sB「付費(fèi)課」
《零基礎(chǔ)學(xué) Python》，尹會(huì)生 前游戲公司技術(shù)總監(jiān)，前新浪網(wǎng)技術(shù)經(jīng)理: http://gk.link/a/11Fct「推薦書(shū)」
《Python學(xué)習(xí)手冊(cè)》: https://u.jd.com/UID7tS1《Python基礎(chǔ)教程》: https://u.jd.com/UK38KhPMySQL
寫(xiě) SQL 比直接寫(xiě) Java 或者 Scala 代碼要門(mén)檻低一些，Hive、Spark、Flink 都提供了 SQL 給大家使用。作「數(shù)據(jù)的搬運(yùn)工」，寫(xiě) SQL 是大數(shù)據(jù)開(kāi)發(fā)人員最容易上任的一項(xiàng)工作了。
通過(guò) MySQL 來(lái)了解下傳統(tǒng)數(shù)據(jù)庫(kù)的原理，以及 SQL 的基本用法。
「公開(kāi)課」
【尚硅谷】《MySQL數(shù)據(jù)庫(kù)教程天花板，mysql安裝到mysql高級(jí)，強(qiáng)！硬！》: https://www.bilibili.com/video/BV1iq4y1u7vj「推薦書(shū)」
《MySQL必知必會(huì)》: https://u.jd.com/UI3dyFN《深入淺出MySQL 數(shù)據(jù)庫(kù)開(kāi)發(fā) 優(yōu)化與管理維護(hù)》: https://u.jd.com/UL3t11U《高性能MySQL》: https://u.jd.com/Ud32q4G分布式系統(tǒng)
熟悉傳統(tǒng)數(shù)據(jù)庫(kù)的同學(xué)，如果不了解分布式數(shù)據(jù)庫(kù)的話，往往在使用大數(shù)據(jù)技術(shù)的過(guò)程中會(huì)感到很差異：為啥跑個(gè) SparkSQL 這么慢，同樣的數(shù)據(jù)量，在單機(jī) MySQL 里幾百毫秒就跑完了， Hadoop 用了10臺(tái)服務(wù)器還要這么久？同樣的 SparkSQL，昨天還能跑成功呢，今天咋就失敗了呢？
分布式系統(tǒng)，了解一下~
「公開(kāi)課」
《【麻省理工學(xué)院—中文字幕】也只有MIT大佬才能把分布式系統(tǒng)講的明明白白，油管超人氣Java公開(kāi)課》: https://www.bilibili.com/video/BV1CU4y1P7PE「付費(fèi)課」
《深入淺出分布式技術(shù)原理》，陳現(xiàn)麟 伴魚(yú)技術(shù)中臺(tái)負(fù)責(zé)人，前小米工程師: http://gk.link/a/11Fcw《分布式系統(tǒng)案例課》，楊波 前攜程 / 拍拍貸技術(shù)總監(jiān)，微服務(wù)技術(shù)專(zhuān)家: http://gk.link/a/11Fcx「推薦書(shū)」
《分布式系統(tǒng)：概念與設(shè)計(jì)》: https://u.jd.com/UM3yOfxNetty
Netty是一個(gè)高性能、異步事件驅(qū)動(dòng)的NIO框架，它提供了對(duì)TCP、UDP和文件傳輸?shù)闹С?，作為一個(gè)異步NIO框架，Netty的所有IO操作都是異步非阻塞的，通過(guò)Future-Listener機(jī)制，用戶(hù)可以方便的主動(dòng)獲取或者通過(guò)通知機(jī)制獲得IO操作結(jié)果。
作為當(dāng)前最流行的NIO框架，Netty在互聯(lián)網(wǎng)領(lǐng)域、大數(shù)據(jù)分布式計(jì)算領(lǐng)域、游戲行業(yè)、通信行業(yè)等獲得了廣泛的應(yīng)用，一些業(yè)界著名的開(kāi)源組件也基于Netty的NIO框架構(gòu)建。
「公開(kāi)課」
【尚硅谷】《Netty視頻教程》: https://www.bilibili.com/video/BV1DJ411m7NR「付費(fèi)課」
《Netty 源碼剖析與實(shí)戰(zhàn)》，傅健 Netty 源碼貢獻(xiàn)者、Cisco 高級(jí)軟件工程師: http://gk.link/a/11Fcy「推薦書(shū)」
《Netty權(quán)威指南》: https://u.jd.com/Uw3tVMA《Netty實(shí)戰(zhàn)》: https://u.jd.com/UK3DLDWHadoop
Hadoop是大數(shù)據(jù)領(lǐng)域最成熟的技術(shù)了，雖然新技術(shù)層出不窮，但 Hadoop 就是死不了，每個(gè)公司搞大數(shù)據(jù)都逃不掉要用 Hadoop。
「公開(kāi)課」
《尚硅谷大數(shù)據(jù)Hadoop教程》: https://www.bilibili.com/video/BV1Qp4y1n7EN【尚硅谷】《Hadoop3.x高可用集群，HDFS、Yarn集群》: https://www.bilibili.com/video/BV1EP4y1j7V1「付費(fèi)課」
《從 0 開(kāi)始學(xué)大數(shù)據(jù)》，李智慧 同程藝龍交通首席架構(gòu)師，前 Intel 大數(shù)據(jù)架構(gòu)師，《大型網(wǎng)站技術(shù)架構(gòu)》作者: http://gk.link/a/11FlI《大數(shù)據(jù)經(jīng)典論文解讀》，徐文浩 bothub 創(chuàng)始人: http://gk.link/a/11FlK「推薦書(shū)」
《Hadoop權(quán)威指南：大數(shù)據(jù)的存儲(chǔ)與分析》: https://u.jd.com/UK33txlHDFS
HDFS 是 Hadoop 中的分布式文件系統(tǒng)，基礎(chǔ)，必懂！
「推薦書(shū)」
《Hadoop技術(shù)內(nèi)幕:深入解析HadoopCommon和HDFS架構(gòu)設(shè)計(jì)》: https://u.jd.com/Ut38weSMapReduce
傳統(tǒng)的程序運(yùn)行過(guò)程中，是把數(shù)據(jù)拿過(guò)來(lái)計(jì)算，而數(shù)據(jù)量太大的時(shí)候，把那么多的數(shù)據(jù)都挨個(gè)再「拿」過(guò)來(lái)，就不劃算了；大數(shù)據(jù)講究的是把計(jì)算移動(dòng)到數(shù)據(jù)那里去「算」，這就是 MapReduce 要做的事兒。
「推薦書(shū)」
《MapReduce 2.0源碼分析與編程實(shí)戰(zhàn)》: https://u.jd.com/UM3yelSYarn
Yarn 是 Hadoop 中管理集群中所有服務(wù)器資源的資源調(diào)度框架，計(jì)算數(shù)據(jù)要用到服務(wù)器的 CPU 和內(nèi)存，要多少合適呢？程序跑得快不快，跟 Yarn 給你分配的資源有很大關(guān)系。
「推薦書(shū)」
《Hadoop技術(shù)內(nèi)幕 深入解析YARN架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)原理》: https://u.jd.com/UL3Ydc4Zookeeper
ZooKeeper 是一個(gè)開(kāi)源的分布式協(xié)調(diào)服務(wù)，協(xié)調(diào)啥呢？比如，HDFS 安排了兩個(gè) NameNode 組成 HA，但同一時(shí)刻，由哪個(gè) NameNode 來(lái)當(dāng)大哥呢？讓這倆 NameNode 都注冊(cè)到 Zookeeper 里，交給 Zookeeper 來(lái)決定！
「公開(kāi)課」
【尚硅谷】《大數(shù)據(jù)技術(shù)之Zookeeper 3.5.7版本教程》: https://www.bilibili.com/video/BV1to4y1C7gw「付費(fèi)課」
《ZooKeeper 實(shí)戰(zhàn)與源碼剖析》，么敬國(guó) 新東方集團(tuán)首席架構(gòu)師: http://gk.link/a/11FcB「推薦書(shū)」
《ZooKeeper：分布式過(guò)程協(xié)同技術(shù)詳解》: https://u.jd.com/Ut32vnjHive
不想寫(xiě) Java 代碼處理大量數(shù)據(jù)，只想寫(xiě)幾行 SQL 算算，那就用 Hive 吧~
「公開(kāi)課」
【尚硅谷】《大數(shù)據(jù)技術(shù)之Hive源碼編譯詳解》: https://www.bilibili.com/video/BV1x14y177Ab【尚硅谷】《大數(shù)據(jù)Hive高級(jí)進(jìn)階教程》: https://www.bilibili.com/video/BV1Cb4y1r7p2「推薦書(shū)」
《Hive編程指南》: https://u.jd.com/UC3rlrv《Hive實(shí)戰(zhàn)》: https://u.jd.com/UL3yyRDSpark
Hive 原先是基于 MapReduce 實(shí)現(xiàn)的，慢！換 Spark 看看~
「公開(kāi)課」
【尚硅谷】《大數(shù)據(jù)Spark教程從入門(mén)到精通》: https://www.bilibili.com/video/BV11A411L7CK【尚硅谷】《大數(shù)據(jù)Spark3.0調(diào)優(yōu)，Spark3.x性能優(yōu)化》: https://www.bilibili.com/video/BV1QY411x7xL「付費(fèi)課」
《零基礎(chǔ)入門(mén) Spark》，吳磊 FreeWheel 機(jī)器學(xué)習(xí)研發(fā)經(jīng)理: http://gk.link/a/11FcC《Spark 性能調(diào)優(yōu)實(shí)戰(zhàn)》，吳磊 FreeWheel 機(jī)器學(xué)習(xí)團(tuán)隊(duì)負(fù)責(zé)人: http://gk.link/a/11FcD「推薦書(shū)」
《Spark權(quán)威指南》: https://u.jd.com/UK3rHSZ《Spark大數(shù)據(jù)商業(yè)實(shí)戰(zhàn)三部曲：內(nèi)核解密 商業(yè)案例 性能調(diào)優(yōu)》: https://u.jd.com/Uw3nw6bKafka
Kafka 是 LinkedIn 開(kāi)發(fā)并開(kāi)源的一套分布式的高性能消息引擎服務(wù)，后來(lái)被越來(lái)越多的公司應(yīng)用在自己的系統(tǒng)中，可以說(shuō)，Kafka 是大數(shù)據(jù)時(shí)代數(shù)據(jù)管道技術(shù)的首選。在設(shè)計(jì)的時(shí)候，它就實(shí)現(xiàn)了高可靠、高吞吐、高可用和可伸縮，得益于這些特性，加上活躍的社區(qū)，Kafka 成為了一個(gè)完備的分布式消息引擎解決方案。
歷經(jīng)多年發(fā)展，Kafka 的功能和特性也在不斷迭代，如今的 Kafka 集消息系統(tǒng)、存儲(chǔ)系統(tǒng)和流式處理平臺(tái)于一身，并作為連接著各種業(yè)務(wù)前臺(tái)和數(shù)據(jù)后臺(tái)的消息中間件，在線上環(huán)境承擔(dān)了非常重要的作用。
「公開(kāi)課」
【尚硅谷】《2022版Kafka3.x教程（從入門(mén)到調(diào)優(yōu)，深入全面）》: https://www.bilibili.com/video/BV1vr4y1677k/「付費(fèi)課」
《Kafka 核心技術(shù)與實(shí)戰(zhàn)》，胡夕 Apache Kafka Committer，老虎證券技術(shù)總監(jiān): http://gk.link/a/11FcG《Kafka 核心源碼解讀》，胡夕 Apache Kafka Committer，老虎證券技術(shù)總監(jiān): http://gk.link/a/11FcH「推薦書(shū)」
《Kafka權(quán)威指南》: https://u.jd.com/UL3DEDh《Kafka技術(shù)內(nèi)幕 圖文詳解Kafka源碼設(shè)計(jì)與實(shí)現(xiàn)》: https://u.jd.com/UC3ytxR《深入理解Kafka：核心設(shè)計(jì)與實(shí)踐原理》: https://u.jd.com/Ut3vuX2Flink
目前大部分公司的大數(shù)據(jù)處理工作，使用的還是離線處理技術(shù)，但未來(lái)，流式計(jì)算必定會(huì)成為分布式計(jì)算的重要方向之一。如果你想要掌握一門(mén)具有前瞻性的流式計(jì)算處理技術(shù)，F(xiàn)link 必然是你的首選。目前為止，開(kāi)源界唯一真正同時(shí)做到低時(shí)延，數(shù)據(jù)一致性保障以及高吞吐的大數(shù)據(jù)處理技術(shù)，也只有 Flink。它可以在毫秒級(jí)的延遲情況下，實(shí)現(xiàn)每秒鐘處理上億次的消息或者事件。
「公開(kāi)課」
【尚硅谷】《2022版Flink1.13實(shí)戰(zhàn)教程（涵蓋所有flink-Java知識(shí)點(diǎn)）》: https://www.bilibili.com/video/BV133411s7Sa「付費(fèi)課」
《Flink 核心技術(shù)與實(shí)戰(zhàn)》，張利兵 第四范式數(shù)據(jù)中臺(tái)架構(gòu)師，Apache Flink 貢獻(xiàn)者: http://gk.link/a/11FcI「推薦書(shū)」
《深入理解Flink核心設(shè)計(jì)與實(shí)踐原理》: https://u.jd.com/UC3Y9Wh數(shù)據(jù)倉(cāng)庫(kù)
掌握了那么多開(kāi)發(fā)技術(shù)，不就是老板要你建數(shù)倉(cāng)嘛~
「公開(kāi)課」
【尚硅谷】《大數(shù)據(jù)項(xiàng)目【電商數(shù)倉(cāng)5.0】》: https://www.bilibili.com/video/BV1AT411j7hu【尚硅谷】《Flink實(shí)時(shí)數(shù)倉(cāng)3.0》: https://www.bilibili.com/video/BV1TG411a7nL「推薦書(shū)」
《數(shù)據(jù)倉(cāng)庫(kù)》: https://u.jd.com/UM3YZF8《Hadoop構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)實(shí)踐》: https://u.jd.com/Ud3yCRC數(shù)據(jù)治理
建數(shù)倉(cāng)只是第一步，數(shù)據(jù)得管理好才行~
「推薦書(shū)」
《數(shù)據(jù)管理&治理3部曲：一本書(shū)講透數(shù)據(jù)治理+DAMA數(shù)據(jù)管理知識(shí)體系指南+數(shù)據(jù)治理 全三冊(cè)》: https://u.jd.com/UC3Sfnc數(shù)據(jù)中臺(tái)
2016年至2020年間，數(shù)據(jù)中臺(tái)的概念很火，現(xiàn)在是落地的時(shí)候了，每個(gè)企業(yè)都不好忽悠，得為企業(yè)產(chǎn)生真正的利益才行~
「公開(kāi)課」
《武凱說(shuō)》: https://space.bilibili.com/39431579/channel/seriesdetail?sid=2158634「付費(fèi)課」
《數(shù)據(jù)中臺(tái)實(shí)戰(zhàn)課》，郭憶 網(wǎng)易大數(shù)據(jù)專(zhuān)家: http://gk.link/a/11FcK「推薦書(shū)」
《數(shù)據(jù)中臺(tái)：讓數(shù)據(jù)用起來(lái)》: https://u.jd.com/UL33szb標(biāo)簽： https 網(wǎng)絡(luò)安全 HTTP 數(shù)據(jù)處理 Kafka
