Ecosyste.ms: Awesome
An open API service indexing awesome lists of open source software.
https://github.com/baolibin/Bigdata
大数据处理相关技术学习之路(持续更新中...)。 Bigdata整理 --> 慢慢滴~ 大数据相关技术包括离线处理，实时处理，OLAP等，如hadoop、spark、flink、hive、hbase、oozie...以及大数据项目，如用户画像、数据仓库等，欢迎感兴趣的小伙伴一起来开发...
https://github.com/baolibin/Bigdata
Last synced: 16 days ago
JSON representation
大数据处理相关技术学习之路(持续更新中...)。 Bigdata整理 --> 慢慢滴~ 大数据相关技术包括离线处理，实时处理，OLAP等，如hadoop、spark、flink、hive、hbase、oozie...以及大数据项目，如用户画像、数据仓库等，欢迎感兴趣的小伙伴一起来开发...
- Host: GitHub
- URL: https://github.com/baolibin/Bigdata
- Owner: baolibin
- Created: 2018-06-27T14:38:59.000Z (almost 6 years ago)
- Default Branch: master
- Last Pushed: 2024-01-15T15:43:43.000Z (5 months ago)
- Last Synced: 2024-02-24T00:36:06.089Z (4 months ago)
- Language: Scala
- Homepage: http://github.libin.io/bigdata
- Size: 7.44 MB
- Stars: 224
- Watchers: 10
- Forks: 57
- Open Issues: 10
-
Metadata Files:
- Readme: README.md
Lists
- awesome-stars - baolibin/Bigdata - 大数据处理相关技术学习之路(持续更新中...)。 Bigdata整理 --> 慢慢滴~ 大数据相关技术包括离线处理，实时处理，OLAP等，如hadoop、spark、flink、hive、hbase、oozie...以及大数据项目，如用户画像、数据仓库等，欢迎感兴趣的小伙伴一起来开发... (Scala)
- awesome-stars - Bigdata - -> 慢慢滴~ 大数据相关技术包括离线处理，实时处理，OLAP等，如hadoop、spark、flink、hive、hbase、oozie...以及大数据项目，如用户画像、数据仓库等，欢迎感兴趣的小伙伴一起来开发... | baolibin | 253 | (Scala)
README
#### 大数据技术之路
本人从13年开始接触大数据，也算在大数据领域中摸爬滚打了很多年，本项目是我对大数据行业相关技术做些梳理。
## 1、Hadoop
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
* [Hadoop](bigdata-hadoop)
- [MapReduce](bigdata-hadoop/src/main/java/com/libin/doc/mapreduce/README.md)
- [HDFS](bigdata-hadoop/src/main/java/com/libin/doc/hdfs/README.md)
- [YARN](bigdata-hadoop/src/main/java/com/libin/doc/yarn/README.md)
## 2、Spark
Spark是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序
* [Spark](spark-core)
- [Spark-Core](spark-core)
- [Spark-Streaming](bigdata-spark-streaming)
- [Spark-Sql](bigdata-spark-sql)
- [Spark-GraphX](spark-graphx)
- [Spark-MLlib](spark-mllib)
## 3、Flink
Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。
Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。
* [Flink](bigdata-flink)
- [Flink DataStream](bigdata-flink/src/main/docs/module/dataStream.md)
- [Flink Table API & SQL](bigdata-flink/src/main/docs/module/tableAndSql.md)
- [Flink CEP](bigdata-flink/src/main/docs/module/cep.md)
- [Flink DataSet](bigdata-flink/src/main/docs/module/dataSet.md)
- [Flink ML](bigdata-flink/src/main/docs/module/ml.md)
- [Flink Gelly](bigdata-flink/src/main/docs/module/gelly.md)
## 4、大数据生态圈一些其它技术框架
* [Hive](bigdata-hive/README.md)
* [HBase](bigdata-hbase/README.md)
* [Kafka](bigdata-kafka/README.md)
* [Doris](bigdata-doris/README.md)
* [Kudu]()
* [Parquet]()
* [Kylin]()
* [Superset]()
* [Druid](bigdata-druid/README.md)
* [Talos](bigdata-info/src/main/java/com/libin/talos/README.md)
* [Pegasus](bigdata-info/src/main/java/com/libin/pegasus/README.md)
* [Griffin](bigdata-info/src/main/java/com/libin/griffin/README.md)
* [ElasticSearch](bigdata-info/src/main/java/com/libin/elasticsearch/README.md)
* [Oozie](bigdata-info/src/main/java/com/libin/oozie/README.md)
* [Redis]()
* [MySQL]()
* [SpringBoot](bigdata-springboot/README.md)
* [Vue](bigdata-info/src/main/java/com/libin/vue/README.md)
## 5、大数据相关技能前奏
* [Scala](bigdata-info/src/main/java/com/libin/scala/README.md)
* [Java](bigdata-info/src/main/java/com/libin/java/README.md)
* [SQL](bigdata-info/src/main/java/com/libin/sql/README.md)
* [Maven](bigdata-project/src/main/bigdata/maven.md)
* [Git](bigdata-project/src/main/bigdata/git.md)
* [Linux Shell](bigdata-project/src/main/bigdata/linux.md)
* [大数据算法](bigdata-project/src/main/bigdata/大数据算法.md)
* [大数据相关计算机理论知识](bigdata-project/src/main/bigdata/大数据相关计算机理论知识.md)
* [大数据产品技能](bigdata-project/src/main/bigdata/大数据产品技能.md)
* [大数据应用场景](bigdata-project/src/main/bigdata/大数据应用场景.md)
* [大数据相关硬件知识](bigdata-project/src/main/bigdata/大数据相关硬件知识.md)
* [大数据平台相关知识](bigdata-project/src/main/bigdata/大数据平台相关知识.md)
## 6、大数据一些相关项目
* [用户画像](bigdata-project/src/main/java/userProfile/readme.md)
* [Id-Mapping](bigdata-project/src/main/java/idmapping/readme.md)
* [离线数仓](bigdata-project/src/main/java/dataWarehouse/readme.md)
* [实时数仓](bigdata-project/src/main/java/realTimeWarehouse/readme.md)
* [特征系统](bigdata-project/src/main/java/featureEngineering/readme.md)
* [数据报告](bigdata-project/src/main/java/dataReport/readme.md)
* [精准运营]()
* [实时监控](bigdata-project/src/main/java/realTimeMonitor/README.md)
## 7、数据相关知识点
* [1、数据仓库](bigdata-project/src/main/data/1.数据仓库.md)
* [2、数据中台](bigdata-project/src/main/data/2.数据中台.md)
* [3、数据建模](bigdata-project/src/main/data/3.数据建模.md)
* [4、数据监控](bigdata-project/src/main/data/4.数据监控.md)
* [5、数据治理](bigdata-project/src/main/data/5.数据治理.md)
* [6、数据质量](bigdata-project/src/main/data/6.数据质量.md)
* [7、数据血缘](bigdata-project/src/main/data/7.数据血缘.md)
* [8、数据计算](bigdata-project/src/main/data/8.数据计算.md)
* [9、数据存储](bigdata-project/src/main/data/9.数据存储.md)
* [数据收集](bigdata-project/src/main/data/数据收集.md)
* [数据压缩](bigdata-project/src/main/data/数据压缩.md)
* [数据加解密](bigdata-project/src/main/data/数据加解密.md)
* [数据产生](bigdata-project/src/main/data/数据产生.md)
* [数据延迟](bigdata-project/src/main/data/数据延迟.md)
* [数据可视化](bigdata-project/src/main/data/数据可视化.md)
* [数据字典](bigdata-project/src/main/data/数据字典.md)
* [数据分析](bigdata-project/src/main/data/数据分析.md)
* [数据集市](bigdata-project/src/main/data/数据集市.md)
## 8、大数据学习相关资料
##### 8.1、大数据学习网站
* [Apache官网](http://www.apache.org/)
* [DataFunTalk知乎](https://www.zhihu.com/org/datafuntalk/posts)
* [美团大数据](https://tech.meituan.com/tags/%E5%A4%A7%E6%95%B0%E6%8D%AE.html)
* [InfoQ大数据](https://www.infoq.cn/topic/bigdata)
##### 8.2、大数据学习书籍
* [Hadoop权威指南]()
* [Hadoop技术内幕（3本）]()
* [Hadoop实战]()
* [Hive编程指南]()
* [HBase权威指南]()
* [Spark快速大数据分析]()
* [Spark技术内幕]()
##### 8.3、大数据论文
* [The Google File System (HDFS)]()
* [BigTable (HBase)]()
* [MapReduce]()
* [Spark]()
##### 8.4、学习网址收藏
* [Apache 官网地址](https://www.apache.org/)
* [Hadoop 官网地址](http://hadoop.apache.org/)
* [Spark 官网地址](http://spark.apache.org/)
* [Flink 官网地址](http://flink.apache.org/)
* [Doris GitHub地址](https://github.com/apache/incubator-doris/wiki)
* [Doris 官网地址](http://doris.apache.org/master/zh-CN/)
## 9、必会知识点
* [9.1、Spark Core](bigdata-project/src/main/doc/sparkcore.md)
- [1）、Spark作业提交流程？](./bigdata-project/src/main/doc/sparkcore.md)
- [2）、Spark的内存模型？](bigdata-project/src/main/doc/sparkcore.md)
- [3）、SparkContext创建流程？源码级别？](bigdata-project/src/main/doc/sparkcore.md)
- [4）、简述Spark个版本区别？1.x与2.x？](bigdata-project/src/main/doc/sparkcore.md)
- [5）、使用Spark中遇到过哪些问题？如何解决的？](bigdata-project/src/main/doc/sparkcore.md)
- [6）、Spark的Shuffle过程？ 和MR Shuffle区别？](bigdata-project/src/main/doc/sparkcore.md)
- [7）、Spark中的数据倾斜问题有啥好的解决方案？](bigdata-project/src/main/doc/sparkcore.md)
- [8）、Spark有哪些聚合类的算子，我们应该怎么避免使用这些算子？ReduceByKey和GroupByKey的区别？](bigdata-project/src/main/doc/sparkcore.md)
- [9）、Spark On Yarn作业执行流程？yarn-client和yarn-cluster的区别？](bigdata-project/src/main/doc/sparkcore.md)
- [10）、Spark中Job、Task、RDD、DAG、Stage的理解？](bigdata-project/src/main/doc/sparkcore.md)
- [11）、Spark中RDD如何通过记录更新的方式容错？](bigdata-project/src/main/doc/sparkcore.md)
- [12）、Spark常用调优方法？](bigdata-project/src/main/doc/sparkcore.md)
- [13）、Spark中宽依赖和窄依赖如何理解？](bigdata-project/src/main/doc/sparkcore.md)
- [14）、Spark中Job和Task如何理解？](bigdata-project/src/main/doc/sparkcore.md)
- [15）、Spark中Transformation和action区别是什么？列举出常用的方法？](bigdata-project/src/main/doc/sparkcore.md)
- [16）、Spark中persist()和cache()的区别？](bigdata-project/src/main/doc/sparkcore.md)
- [17）、Spark中map和mapPartitions的区别？](bigdata-project/src/main/doc/sparkcore.md)
- [18）、Spark中Worker和Executor的异同？](bigdata-project/src/main/doc/sparkcore.md)
- [19）、Spark中提供的2中共享变量是啥？](bigdata-project/src/main/doc/sparkcore.md)
- [20）、菲波那切数列可以用Spark做出来么？](bigdata-project/src/main/doc/sparkcore.md)
- [21）、看过哪些Spark源码？](bigdata-project/src/main/doc/sparkcore.md)
- [22）、Spark通信机制？](bigdata-project/src/main/doc/sparkcore.md)
- [23）、Spark的存储级别有哪些？](bigdata-project/src/main/doc/sparkcore.md)
- [24）、Spark序列化模式有哪些？](bigdata-project/src/main/doc/sparkcore.md)
- [25）、Spark使用到的安全协议有哪些？](bigdata-project/src/main/doc/sparkcore.md)
- [26）、Spark部署模式有哪些？](bigdata-project/src/main/doc/sparkcore.md)
- [27）、Spark的cache后能不能接其它算子？是不是action操作?](bigdata-project/src/main/doc/sparkcore.md)
- [28）、Spark中reduceByKey是action算子不？reduec呢?](bigdata-project/src/main/doc/sparkcore.md)
- [29）、Spark中数据本地性是哪个阶段确定的？](bigdata-project/src/main/doc/sparkcore.md)
- [30）、Spark中RDD的弹性提现在哪里？](bigdata-project/src/main/doc/sparkcore.md)
- [31）、Spark中容错机制？](bigdata-project/src/main/doc/sparkcore.md)
- [32）、Spark中RDD的缺陷？](bigdata-project/src/main/doc/sparkcore.md)
- [33）、Spark中有哪些聚合类的算子？应该避免什么类型的算子?](bigdata-project/src/main/doc/sparkcore.md)
- [34）、Spark中并行度怎么设置比较合理一些？](bigdata-project/src/main/doc/sparkcore.md)
- [35）、Spark中数据的位置由谁来管理？](bigdata-project/src/main/doc/sparkcore.md)
- [36）、Spark中数据本地性有哪几种？](bigdata-project/src/main/doc/sparkcore.md)
- [37）、Spark如何处理不被序列化的数据？](bigdata-project/src/main/doc/sparkcore.md)
- [38）、Spark中collect功能是啥？其底层是如何实现的?](bigdata-project/src/main/doc/sparkcore.md)
- [39）、Spark作业在没有获得足够资源就开始启动了,可能会导致什么问题？](bigdata-project/src/main/doc/sparkcore.md)
- [40）、Spark中map和flatmap有啥区别？](bigdata-project/src/main/doc/sparkcore.md)
- [41）、介绍一下join操作优化经验？](bigdata-project/src/main/doc/sparkcore.md)
- [42）、Spark有哪些组件？](bigdata-project/src/main/doc/sparkcore.md)
- [43）、Spark的工作机制？](bigdata-project/src/main/doc/sparkcore.md)
- [44）、Spark中的宽窄依赖？](bigdata-project/src/main/doc/sparkcore.md)
- [45）、Spark如何划分stage？](bigdata-project/src/main/doc/sparkcore.md)
- [46）、spark-submit时候如何引用外部的jar包？](bigdata-project/src/main/doc/sparkcore.md)
- [47）、Spark中RDD有哪些特性？](bigdata-project/src/main/doc/sparkcore.md)
- [48）、Spark的一个工作流程？](bigdata-project/src/main/doc/sparkcore.md)
- [49）、Spark on yarn与standalone区别？](bigdata-project/src/main/doc/sparkcore.md)
- [50）、Spark优化之内存管理？](bigdata-project/src/main/doc/sparkcore.md)
- [51）、Spark优化之广播变量？](bigdata-project/src/main/doc/sparkcore.md)
- [52）、Spark优化之数据本地性？](bigdata-project/src/main/doc/sparkcore.md)
- [53）、Spark中task有几种类型？](bigdata-project/src/main/doc/sparkcore.md)
- [54）、Spark中基本概念？](bigdata-project/src/main/doc/sparkcore.md)
- [55）、Spark中的ShuffleManager？](bigdata-project/src/main/doc/sparkcore.md)
- [56）、Spark中Shuffle时候数据一定会落磁盘么？](bigdata-project/src/main/doc/sparkcore.md)
- [57）、Spark和MR中Shuffle不同？Spark的优势?](bigdata-project/src/main/doc/sparkcore.md)
- [58）、Spark如何做checkpoint?](bigdata-project/src/main/doc/sparkcore.md)
- [59）、Spark比MR速度快的原因?](bigdata-project/src/main/doc/sparkcore.md)
- [60）、Spark distinct去重原理?](bigdata-project/src/main/doc/sparkcore.md)
- [61）、Spark cache和checkpoint区别?](bigdata-project/src/main/doc/sparkcore.md)
- [62）、Spark Core和Spark SQL区别?](bigdata-project/src/main/doc/sparkcore.md)
- [63）、Spark和MapReduce区别?](bigdata-project/src/main/doc/sparkcore.md)
- [64）、Spark不同版本区别?](bigdata-project/src/main/doc/sparkcore.md)
* [9.2、Spark SQL](bigdata-project/src/main/doc/sparksql.md)
- [1）、Spark SQL和Hive区别？Spark SQL一定比Hive快么？](bigdata-project/src/main/doc/sparksql.md)
- [2）、Spark SQL有使用过么？在哪些项目中使用过？](bigdata-project/src/main/doc/sparksql.md)
- [3）、Spark SQL中UDF使用？](bigdata-project/src/main/doc/sparksql.md)
- [4）、SparkSession、SparkContext和SQLContext区别？](bigdata-project/src/main/doc/sparksql.md)
- [5）、Spark SQL用过哪些算子？遇到哪些问题？如何解决的？](bigdata-project/src/main/doc/sparksql.md)
- [6）、Spark SQL程序调优？](bigdata-project/src/main/doc/sparksql.md)
- [7）、Spark SQL运行原理？](bigdata-project/src/main/doc/sparksql.md)
- [8）、Spark SQL适用的场景,Spark Core不适合的?](bigdata-project/src/main/doc/sparksql.md)
- [9）、Spark SQL2.0和3.0区别?](bigdata-project/src/main/doc/sparksql.md)
- [10）、Spark SQL的DataFrame和RDD有啥区别?](bigdata-project/src/main/doc/sparksql.md)
* [9.3、Spark Streaming](bigdata-project/src/main/doc/sparkstreaming.md)
- [1）、Spark Streaming如何保证数据仅且消费一次？](bigdata-project/src/main/doc/sparkstreaming.md)
- [2）、Spark Streaming中DataFrame和DataSet区别？](bigdata-project/src/main/doc/sparkstreaming.md)
- [3）、Spark Streaming如何做checkPoint检查点？](bigdata-project/src/main/doc/sparkstreaming.md)
- [4）、Spark Streaming如何设置batch大小？](bigdata-project/src/main/doc/sparkstreaming.md)
- [5）、Spark Streaming程序消费过慢如何解决？](bigdata-project/src/main/doc/sparkstreaming.md)
- [6）、统计实时流中某一单词出现的总个数（eg：比如一天某商品被点击的PV）？](bigdata-project/src/main/doc/sparkstreaming.md)
- [7）、Spark Streaming工作流程是怎样的？和Storm以及Flink有什么区别？](bigdata-project/src/main/doc/sparkstreaming.md)
- [8）、Spark Streaming输出小文件问题？](bigdata-project/src/main/doc/sparkstreaming.md)
- [9）、Spark Streaming中foreachRDD如何使用？](bigdata-project/src/main/doc/sparkstreaming.md)
- [10）、Spark Streaming的启动时序图？](bigdata-project/src/main/doc/sparkstreaming.md)
- [11）、Spark Streaming程序调优？](bigdata-project/src/main/doc/sparkstreaming.md)
- [12）、Spark Streaming窗口大小？每个窗口处理的数据量？](bigdata-project/src/main/doc/sparkstreaming.md)
- [13）、Spark Streaming中updateStateByKey和mapWithState的区别与使用？](bigdata-project/src/main/doc/sparkstreaming.md)
- [14）、Spark Streaming面对高峰数据如何处理？](bigdata-project/src/main/doc/sparkstreaming.md)
- [15）、Spark Streaming反压机制？](bigdata-project/src/main/doc/sparkstreaming.md)
- [16）、Spark Streaming如何实现ExactlyOnce？](bigdata-project/src/main/doc/sparkstreaming.md)
* [9.4、Flink Streaming](bigdata-project/src/main/doc/flinkstreaming.md)
- [1）、Flink如何保证数据仅且消费一次？](bigdata-project/src/main/doc/flinkstreaming.md)
- [2）、Flink如何做checkPoint检查点？分布式快照原理是啥?](bigdata-project/src/main/doc/flinkstreaming.md)
- [3）、Flink程序消费过慢如何解决？](bigdata-project/src/main/doc/flinkstreaming.md)
- [4）、统计实时流中某一单词出现的总个数（eg：比如一天某商品被点击的PV）？](bigdata-flink/src/main/scala/com/libin/data/flink/streaming/etl/GenCodeFromState.scala)
- [5）、Flink中时间有几种？](bigdata-project/src/main/doc/flinkstreaming.md)
- [6）、Flink中窗口有几种？](bigdata-project/src/main/doc/flinkstreaming.md)
- [7）、Flink中state如何理解？状态机制?](bigdata-project/src/main/doc/flinkstreaming.md)
- [8）、Flink中Operator是啥？](bigdata-project/src/main/doc/flinkstreaming.md)
- [9）、Flink中StreamExecutionEnvironment初始化流程？](bigdata-project/src/main/doc/flinkstreaming.md)
- [10）、用过DataStream里面的哪些方法？](bigdata-project/src/main/doc/flinkstreaming.md)
- [11）、Flink程序调优？](bigdata-project/src/main/doc/flinkstreaming.md)
- [12）、Flink如何解决数据乱序问题？Watermark使用过么?EventTime+Watermark可否解决数据乱序问题?](bigdata-project/src/main/doc/flinkstreaming.md)
- [13）、Flink的checkpoint存储有哪些(状态存储)？](bigdata-project/src/main/doc/flinkstreaming.md)
- [14）、Flink如何实现exactly-once？](bigdata-project/src/main/doc/flinkstreaming.md)
- [15）、海量key去重,双十一场景,滑动窗口长度为1小时,滑动距离为10s,亿级别用户,如何计算UV？](bigdata-project/src/main/doc/flinkstreaming.md)
- [16）、Flink的checkpoint和spark streaming比较？](bigdata-project/src/main/doc/flinkstreaming.md)
- [17）、Flink CEP编程中当状态没有达到时候,数据会保存在哪里？](bigdata-project/src/main/doc/flinkstreaming.md)
- [18）、3种时间语义？](bigdata-project/src/main/doc/flinkstreaming.md)
- [19）、Flink面对高峰数据如何处理？](bigdata-project/src/main/doc/flinkstreaming.md)
- [20）、Flink程序运行慢如何优化处理？](bigdata-project/src/main/doc/flinkstreaming.md)
- [21）、Flink程序延迟高如何解决？](bigdata-project/src/main/doc/flinkstreaming.md)
- [22）、Flink如何做容错？](bigdata-project/src/main/doc/flinkstreaming.md)
- [23）、Flink有没有重启策略？说说有哪几种?](bigdata-project/src/main/doc/flinkstreaming.md)
- [24）、Flink分布式快照原理是什么?](bigdata-project/src/main/doc/flinkstreaming.md)
- [25）、Flink的Kafka连接器有什么特别的地方?](bigdata-project/src/main/doc/flinkstreaming.md)
- [26）、Flink的内存管理?](bigdata-project/src/main/doc/flinkstreaming.md)
- [27）、Flink序列化都有哪些?怎么实现的?](bigdata-project/src/main/doc/flinkstreaming.md)
- [28）、Flink的window出现了数据倾斜,如何解决?](bigdata-project/src/main/doc/flinkstreaming.md)
- [29）、Flink在使用聚合函数GroupBy、KeyBy、Distinct等函数出现数据热点如何解决?](bigdata-project/src/main/doc/flinkstreaming.md)
- [30）、Flink如何处理反压?和spark streaming和storm区别有了解么?](bigdata-project/src/main/doc/flinkstreaming.md)
- [31）、Flink的Operator Chains算子链了解么?](bigdata-project/src/main/doc/flinkstreaming.md)
- [32）、Flink什么时候会把Operator Chain在一起行程算子链?](bigdata-project/src/main/doc/flinkstreaming.md)
- [33）、Flink1.7特性?Flink1.9特性](bigdata-project/src/main/doc/flinkstreaming.md)
- [34）、Flink组件栈有哪些?](bigdata-project/src/main/doc/flinkstreaming.md)
- [35）、Flink运行需要依赖哪些组件?必须依赖Hadoop么?](bigdata-project/src/main/doc/flinkstreaming.md)
- [36）、Flink基础编程模型?](bigdata-project/src/main/doc/flinkstreaming.md)
- [37）、Flink集群有哪些角色?各有什么作用?](bigdata-project/src/main/doc/flinkstreaming.md)
- [38）、Flink中Task Slot概念?Slot和parallelism区别?](bigdata-project/src/main/doc/flinkstreaming.md)
- [39）、Flink中常用算子有哪些?](bigdata-project/src/main/doc/flinkstreaming.md)
- [40）、Flink分区策略?](bigdata-project/src/main/doc/flinkstreaming.md)
- [41）、Flink并行度如何设置?](bigdata-project/src/main/doc/flinkstreaming.md)
- [42）、Flink分布式缓存用过没?如何使用?](bigdata-project/src/main/doc/flinkstreaming.md)
- [43）、Flink广播变量,使用时候需要注意什么?](bigdata-project/src/main/doc/flinkstreaming.md)
- [44）、Flink Table&SQL熟悉不?TableEnvironment这个类有什么作用?](bigdata-project/src/main/doc/flinkstreaming.md)
- [45）、Flink SQL实现原理是什么?如何实现SQL的解析?](bigdata-project/src/main/doc/flinkstreaming.md)
- [46）、Flink如何支持流批一体的?](bigdata-project/src/main/doc/flinkstreaming.md)
- [47）、Flink如何支如何做到高效的数据转换?](bigdata-project/src/main/doc/flinkstreaming.md)
- [48）、Flink如何做内存管理?](bigdata-project/src/main/doc/flinkstreaming.md)
- [49）、Flink Job提交流程?](bigdata-project/src/main/doc/flinkstreaming.md)
- [50）、Flink的三层图结构是哪几个图?](bigdata-project/src/main/doc/flinkstreaming.md)
- [51）、Flink中JobManager在集群中扮演的角色?](bigdata-project/src/main/doc/flinkstreaming.md)
- [52）、Flink中JobManager在集群启动中扮演的角色?](bigdata-project/src/main/doc/flinkstreaming.md)
- [53）、Flink中TaskManager在集群中扮演的角色?](bigdata-project/src/main/doc/flinkstreaming.md)
- [54）、Flink中TaskManager在集群启动时候扮演的角色?](bigdata-project/src/main/doc/flinkstreaming.md)
- [55）、Flink计算资源的调度是如何实现的?](bigdata-project/src/main/doc/flinkstreaming.md)
- [56）、简述Flink的数据抽象以及数据交换过程?](bigdata-project/src/main/doc/flinkstreaming.md)
- [57）、FlinkSQL的实现原理?](bigdata-project/src/main/doc/flinkstreaming.md)
- [58）、Flink压测和监控?](bigdata-project/src/main/doc/flinkstreaming.md)
- [59）、有了Spark为啥还要用Flink?](bigdata-project/src/main/doc/flinkstreaming.md)
- [60）、Flink的应用架构有哪些?](bigdata-project/src/main/doc/flinkstreaming.md)
- [61）、Flink Barrier对齐?](bigdata-project/src/main/doc/flinkstreaming.md)
- [62）、Flink slot和cpu core区别?](bigdata-project/src/main/doc/flinkstreaming.md)
- [63）、JobGraph生成?](bigdata-project/src/main/doc/flinkstreaming.md)
- [64）、Flink和SparkStreaming区别?](bigdata-project/src/main/doc/flinkstreaming.md)
- [65）、Flink中什么场景会用到state?](bigdata-project/src/main/doc/flinkstreaming.md)
- [66）、Flink如何快速定位问题?](bigdata-project/src/main/doc/flinkstreaming.md)
- [67）、Flink中watermark 机制?](bigdata-project/src/main/doc/flinkstreaming.md)
- [68）、Flink集群有哪些角色？各自有什么作用？](bigdata-project/src/main/doc/flinkstreaming.md)
- [69）、Flink中多流Join?](bigdata-project/src/main/doc/flinkstreaming.md)
- [70）、Flink中两阶段提交?](bigdata-project/src/main/doc/flinkstreaming.md)
- [71）、Flink中多流checkpoint?](bigdata-project/src/main/doc/flinkstreaming.md)
- [72）、Flink中多流合并反压?](bigdata-project/src/main/doc/flinkstreaming.md)
- [73）、Flink中多流Join，数据延迟?](bigdata-project/src/main/doc/flinkstreaming.md)
- [74）、Flink中checkpoint存的数据是什么?](bigdata-project/src/main/doc/flinkstreaming.md)
- [75）、Flink中checkpoint和savepoint区别?](bigdata-project/src/main/doc/flinkstreaming.md)
- [76）、Flink中join类型?](bigdata-project/src/main/doc/flinkstreaming.md)
- [77）、Flink与SparkStreaming的优缺点?适用的场景?](bigdata-project/src/main/doc/flinkstreaming.md)
- [78）、Flink背压如何实现?](bigdata-project/src/main/doc/flinkstreaming.md)
- [79）、Flink如何取消state?1.7版本如如何取消?](bigdata-project/src/main/doc/flinkstreaming.md)
- [80）、Flink如何实现自定义sink?](bigdata-project/src/main/doc/flinkstreaming.md)
- [81）、Flink分布式缓存?](bigdata-project/src/main/doc/flinkstreaming.md)
- [82）、Flink计数器?](bigdata-project/src/main/doc/flinkstreaming.md)
- [86）、Flink SQL解析方式?](bigdata-project/src/main/doc/flinkstreaming.md)
- [87)、Flink Window的分组？](bigdata-project/src/main/doc/flinkstreaming.md)
- [88)、Flink Window 的生命周期？清除？](bigdata-project/src/main/doc/flinkstreaming.md)
- [89)、Flink Window 的触发器？以及内置自定义触发器？](bigdata-project/src/main/doc/flinkstreaming.md)
- [90)、Flink Window 的窗口函数？](bigdata-project/src/main/doc/flinkstreaming.md)
- [91)、Flink Window 的驱逐器Evictors？](bigdata-project/src/main/doc/flinkstreaming.md)
- [92)、Flink Window 允许时延？](bigdata-project/src/main/doc/flinkstreaming.md)
* [9.5、Flink Batch](bigdata-project/src/main/doc/flinkbatch.md)
- [1）、Flink中ExecutionEnvironment初始化流程？](bigdata-project/src/main/doc/flinkbatch.md)
- [2）、用过DataSet里面的哪些方法？](bigdata-project/src/main/doc/flinkbatch.md)
* [9.6、Hive](bigdata-project/src/main/doc/hive.md)
- [1）、简述Hive主要结构？](bigdata-project/src/main/doc/hive.md)
- [2）、Hive解析成MapReduce过程？](bigdata-project/src/main/doc/hive.md)
- [3）、Hive与传统数据库的区别？](bigdata-project/src/main/doc/hive.md)
- [4）、Hive内部表和外部表区别？](bigdata-project/src/main/doc/hive.md)
- [5）、Hive中order by、sort by、distribute by和cluster by的区别？](bigdata-project/src/main/doc/hive.md)
- [6）、Hive中row_number()、rank()和dense_rank()区别？](bigdata-project/src/main/doc/hive.md)
- [7）、Hive中常用的系统函数有哪些？](bigdata-project/src/main/doc/hive.md)
- [8）、Hive使用过udf函数么？如何使用的？](bigdata-project/src/main/doc/hive.md)
- [9）、Hive如何实现分区？](bigdata-project/src/main/doc/hive.md)
- [10）、Hive导入和导出数据的方式？](bigdata-project/src/main/doc/hive.md)
- [11）、Hive窗口函数有哪些?](bigdata-project/src/main/doc/hive.md)
- [12）、Hive中如何使用UDTF?](bigdata-project/src/main/doc/hive.md)
- [13）、Hive表关联查询，如何解决数据倾斜问题？](bigdata-project/src/main/doc/hive.md)
- [14）、Hive中数据的null在底层是如何存储的？](bigdata-project/src/main/doc/hive.md)
- [15）、Hive有哪些方式保存元数据？各有哪些特点？](bigdata-project/src/main/doc/hive.md)
- [16）、Hive中split、coalesce和collect_list函数的用法？](bigdata-project/src/main/doc/hive.md)
- [17）、Hive在join时候大表和小表放置顺序？](bigdata-project/src/main/doc/hive.md)
- [18）、Hive使用两张表关联，使用MapReduce怎么实现？](bigdata-project/src/main/doc/hive.md)
- [19）、Hive中使用什么可以代替in查询？](bigdata-project/src/main/doc/hive.md)
- [20）、所有的Hive任务底层都会执行MapReduce么？](bigdata-project/src/main/doc/hive.md)
- [21）、Hive函数中UDF、UDAF和UDTF区别？](bigdata-project/src/main/doc/hive.md)
- [22）、Hive桶表的理解？](bigdata-project/src/main/doc/hive.md)
- [23）、Hive实现UDF函数的流程？](bigdata-project/src/main/doc/hive.md)
- [24）、Hive SQL语句是怎么执行的？](bigdata-project/src/main/doc/hive.md)
- [25）、Hive用过哪些优化？](bigdata-project/src/main/doc/hive.md)
- [26）、Hive如何设置并行数？](bigdata-project/src/main/doc/hive.md)
- [27）、Hive如何合并小文件？](bigdata-project/src/main/doc/hive.md)
- [28）、Hive动态分区？](bigdata-project/src/main/doc/hive.md)
- [29）、Hive的Fetch抓取？](bigdata-project/src/main/doc/hive.md)
- [30）、Hive的Group By？](bigdata-project/src/main/doc/hive.md)
- [31）、Hive的Count(Distinct) 去重统计？](bigdata-project/src/main/doc/hive.md)
- [32）、Hive的笛卡尔积？](bigdata-project/src/main/doc/hive.md)
- [33）、Hive的JVM重用？](bigdata-project/src/main/doc/hive.md)
- [34）、Hive的行列过滤？](bigdata-project/src/main/doc/hive.md)
- [35）、Hive的Map数？](bigdata-project/src/main/doc/hive.md)
- [36）、Hive的Reduce数？](bigdata-project/src/main/doc/hive.md)
- [37）、Hive的并行执行？](bigdata-project/src/main/doc/hive.md)
- [38）、Hive的本地模式？](bigdata-project/src/main/doc/hive.md)
- [39）、Hive的列裁剪和分区裁剪？](bigdata-project/src/main/doc/hive.md)
- [40）、Hive的谓词下推?](bigdata-project/src/main/doc/hive.md)
- [41）、Hive的严格模式?](bigdata-project/src/main/doc/hive.md)
- [42）、Hive启用压缩?](bigdata-project/src/main/doc/hive.md)
* [9.7、HBase](bigdata-project/src/main/doc/hbase.md)
- [1）、HBase是什么？特点有哪些？](bigdata-project/src/main/doc/hbase.md)
- [2）、HBase和Hive的区别？](bigdata-project/src/main/doc/hbase.md)
- [3）、HBase的rowKey如何设计？](bigdata-project/src/main/doc/hbase.md)
- [4）、简述HBase架构模块？](bigdata-project/src/main/doc/hbase.md)
- [5）、描述HBase中一个cell结构？](bigdata-project/src/main/doc/hbase.md)
- [6）、HBase中compact用途是什么？什么时候触发？分为哪两种？有什么区别？有哪些相关参数？](bigdata-project/src/main/doc/hbase.md)
- [7）、HBase优化？](bigdata-project/src/main/doc/hbase.md)
- [8）、HBase如何建立预分区？](bigdata-project/src/main/doc/hbase.md)
- [9）、HBase中HRegionServer宕机如何处理？](bigdata-project/src/main/doc/hbase.md)
- [10）、HBase中scan和get的功能以及实现的异同？](bigdata-project/src/main/doc/hbase.md)
- [11）、HBase读流程？](bigdata-project/src/main/doc/hbase.md)
- [12）、HBase写流程？](bigdata-project/src/main/doc/hbase.md)
- [13）、HBase内部机制是什么？](bigdata-project/src/main/doc/hbase.md)
- [14）、HBase在进行模型设计时重点在什么地方？一张表定义多个Column Family最合适？为什么？](bigdata-project/src/main/doc/hbase.md)
- [15）、如何提高HBase客户端的读写性能？](bigdata-project/src/main/doc/hbase.md)
- [16）、直接将时间戳作为行键存储在HBase中，在写入单个Region时候会发生热点问题，为什么？](bigdata-project/src/main/doc/hbase.md)
- [17）、请描述如何解决HBase中Region太大和Region太小带来的冲突？](bigdata-project/src/main/doc/hbase.md)
- [18）、简述下布隆过滤器的原理？HBase中如何使用的？](bigdata-project/src/main/doc/hbase.md)
- [19）、简述下LSM树的原理？HBase中如何使用的？](bigdata-project/src/main/doc/hbase.md)
- [20）、HBase中二级索引原理？有使用过么？](bigdata-project/src/main/doc/hbase.md)
- [21）、HBase有put方法，那如何批量进HBase中？用什么方法？](bigdata-project/src/main/doc/hbase.md)
- [22）、访问HBase有哪些方式？](bigdata-project/src/main/doc/hbase.md)
- [23）、HBase中最小存储单元是什么？](bigdata-project/src/main/doc/hbase.md)
- [24）、HBase中的MemStore是用来做什么的？](bigdata-project/src/main/doc/hbase.md)
- [25）、HBase中scan对象的setCache和setBatch方法的使用？](bigdata-project/src/main/doc/hbase.md)
- [26）、每天百亿数据存入HBase，如何保证数据的存储正确以及在规定时间里全部录入完毕，不残留数据？](bigdata-project/src/main/doc/hbase.md)
- [27）、HBase的RowFilter和BloomFilter原理？](bigdata-project/src/main/doc/hbase.md)
- [28）、HBase的HRegion如何划分的？](bigdata-project/src/main/doc/hbase.md)
- [29）、HBase的HRegion如何分裂的？](bigdata-project/src/main/doc/hbase.md)
- [30）、HBase的MemStore和BlockCache区别？](bigdata-project/src/main/doc/hbase.md)
* [9.8、HDFS](bigdata-project/src/main/doc/hdfs.md)
- [1）、自己写个HDFS需要实现哪些模块？](bigdata-project/src/main/doc/hdfs.md)
- [2）、HDFS读流程？](bigdata-project/src/main/doc/hdfs.md)
- [3）、HDFS写流程？](bigdata-project/src/main/doc/hdfs.md)
- [4）、HDFS的事物日志和镜像文件怎么理解？](bigdata-project/src/main/doc/hdfs.md)
- [5）、HDFS的SecondaryNameNode工作机制？](bigdata-project/src/main/doc/hdfs.md)
- [6）、HDFS的NameNode和SecondaryNameNode区别？](bigdata-project/src/main/doc/hdfs.md)
- [7）、HDFS节点动态上线下线怎么操作？](bigdata-project/src/main/doc/hdfs.md)
- [8）、HDFS的单点问题？如何解决？](bigdata-project/src/main/doc/hdfs.md)
- [9）、HDFS的HA如何实现？](bigdata-project/src/main/doc/hdfs.md)
- [10）、HDFS的Federation如何理解？](bigdata-project/src/main/doc/hdfs.md)
- [11）、HDFS的Block和spark的partition有什么区别？](bigdata-project/src/main/doc/hdfs.md)
- [12）、HDFS的压缩算法？](bigdata-project/src/main/doc/hdfs.md)
- [13）、HDFS的3个DataNode，其中有一个出现问题，会怎么样？](bigdata-project/src/main/doc/hdfs.md)
- [14）、HDFS的小文件过多时候，如何解决小文件问题？](bigdata-project/src/main/doc/hdfs.md)
- [15）、有一个200M文件写入HDFS，是先写入128M复制完之后再写72M，还是全部写完再复制？](bigdata-project/src/main/doc/hdfs.md)
- [16）、HDFS中的RPC协议，底层是如何进行封装的？](bigdata-project/src/main/doc/hdfs.md)
- [17）、HDFS出现文件丢失怎么处理？](bigdata-project/src/main/doc/hdfs.md)
- [18）、描述HDFS的SecondaryNameNode进行checkpoint的过程？](bigdata-project/src/main/doc/hdfs.md)
- [19）、HDFS的数据完整性如何保证？](bigdata-project/src/main/doc/hdfs.md)
- [20）、HDFS什么时候进入安全模式？](bigdata-project/src/main/doc/hdfs.md)
- [21）、HDFS的副本存放机制？](bigdata-project/src/main/doc/hdfs.md)
- [22）、如何理解分布式？](bigdata-project/src/main/doc/hdfs.md)
* [9.9、MapReduce](bigdata-project/src/main/doc/mapreduce.md)
- [1）、MapReduce和Spark都是并行计算，有什么区别？](bigdata-project/src/main/doc/mapreduce.md)
- [2）、Spark比MapReduce快么？为什么快？快在哪里？](bigdata-project/src/main/doc/mapreduce.md)
- [3）、MapReduce的Shuffle过程？](bigdata-project/src/main/doc/mapreduce.md)
- [4）、MapReduce架构原理？](bigdata-project/src/main/doc/mapreduce.md)
- [5）、MapReduce如何读取小文件？](bigdata-project/src/main/doc/mapreduce.md)
- [6）、MapReduce调优？](bigdata-project/src/main/doc/mapreduce.md)
- [7）、MapReduce作业执行过程？](bigdata-project/src/main/doc/mapreduce.md)
- [8）、MapReduce切片机制？](bigdata-project/src/main/doc/mapreduce.md)
- [9）、描述mapReduce中combiner的作用是什么，一般使用情景，哪些情况不需要，及和reduce的区别？](bigdata-project/src/main/doc/mapreduce.md)
- [10）、描述Hadoop MapReduce的容错机制？](bigdata-project/src/main/doc/mapreduce.md)
- [11）、在一个运行的Hadoop 任务中，什么是InputSplit？](bigdata-project/src/main/doc/mapreduce.md)
- [12）、如何判定一个job的map和reduce的数量?](bigdata-project/src/main/doc/mapreduce.md)
- [13）、分片与分块的区别？](bigdata-project/src/main/doc/mapreduce.md)
- [14）、什么叫数据本地性？Hadoop采用了哪些机制提高任务的数据本地性？](bigdata-project/src/main/doc/mapreduce.md)
- [15）、编写MapReduce作业时，如何做到在Reduce阶段，先对key排序，再对value排序？](bigdata-project/src/main/doc/mapreduce.md)
* [9.10、YARN](bigdata-project/src/main/doc/yarn.md)
* [9.11、Java](bigdata-project/src/main/doc/java.md)
- [1）、说说Java中有哪些数据结构？](bigdata-project/src/main/doc/java.md)
- [2）、Java中有几种基本类型，各占多少字节？](bigdata-project/src/main/doc/java.md)
- [3）、Java中String可以被继承不？String、StringBuffer和StringBuilder有什么区别？](bigdata-project/src/main/doc/java.md)
- [4）、Java中ArrayList和LinkedList有什么区别？](bigdata-project/src/main/doc/java.md)
- [5）、Java中类的初始化顺序？](bigdata-project/src/main/doc/java.md)
- [6）、Java中HashMap内部实现原理？如何扩容？线程安全不？](bigdata-project/src/main/doc/java.md)
- [7）、描述动态代理的几种实现方式？](bigdata-project/src/main/doc/java.md)
- [8）、Java的反射中，Class.forName和ClassLoader区别？](bigdata-project/src/main/doc/java.md)
- [9）、Java中nio和bio区别？](bigdata-project/src/main/doc/java.md)
- [10）、写出三种单例模式实现方式？](bigdata-project/src/main/doc/java.md)
- [11）、垃圾回收机制？](bigdata-project/src/main/doc/java.md)
- [12）、Java的内存模型？](bigdata-project/src/main/doc/java.md)
- [13）、数组和链表数据结构描述？各自时间复杂度](bigdata-project/src/main/doc/java.md)
- [14）、Java1.5中引入了泛型，泛型的存在用来解决什么问题？](bigdata-project/src/main/doc/java.md)
- [15）、Java的HashSet内部如何实现的？](bigdata-project/src/main/doc/java.md)
- [16）、Java中List、Set和Map之间的区别？](bigdata-project/src/main/doc/java.md)
- [17）、Java中哪些集合类是线程安全的？](bigdata-project/src/main/doc/java.md)
- [18）、Java中synchronized和volatile区别？](bigdata-project/src/main/doc/java.md)
- [19）、Jvm中一次完整的GC流程？](bigdata-project/src/main/doc/java.md)
- [20）、Java中CurrentHashMap和HashMap的区别？](bigdata-project/src/main/doc/java.md)
- [21）、Java中int和Integer区别？](bigdata-project/src/main/doc/java.md)
- [22）、Java中内存溢出和内存泄漏区别？](bigdata-project/src/main/doc/java.md)
- [23）、Java中进程和线程的区别？](bigdata-project/src/main/doc/java.md)
- [24）、深拷贝和浅拷贝区别？](bigdata-project/src/main/doc/java.md)
- [25）、什么是值传递和引用传递？](bigdata-project/src/main/doc/java.md)
- [26）、可以在static环境中访问非static变量吗？](bigdata-project/src/main/doc/java.md)
- [27）、Java支持多继承么,为什么？](bigdata-project/src/main/doc/java.md)
- [28）、构造器是否可被重写？](bigdata-project/src/main/doc/java.md)
- [29）、char型变量中能不能存贮一个中文汉字，为什么？](bigdata-project/src/main/doc/java.md)
- [30）、如何实现对象克隆？](bigdata-project/src/main/doc/java.md)
- [31）、object中定义了哪些方法？](bigdata-project/src/main/doc/java.md)
- [32）、hashCode的作用是什么？](bigdata-project/src/main/doc/java.md)
- [34）、列举出JAVA中6个比较常用的包？](bigdata-project/src/main/doc/java.md)
- [35）、JDK 7有哪些新特性？](bigdata-project/src/main/doc/java.md)
- [36）、JDK 和 JRE 有什么区别？](bigdata-project/src/main/doc/java.md)
- [37）、说说你熟悉的设计模式有哪些？](bigdata-project/src/main/doc/java.md)
- [38）、在自己的代码中，如果创建一个java.lang.String类，这个类是否可以被类加载器加载？为什么？](bigdata-project/src/main/doc/java.md)
- [39）、java8的新特性?](bigdata-project/src/main/doc/java.md)
- [40）、switch是否能作用在byte 上，是否能作用在long 上，是否能作用在String上?](bigdata-project/src/main/doc/java.md)
- [41）、是否可以从一个静态（static）方法内部发出对非静态（non-static）方法的调用?](bigdata-project/src/main/doc/java.md)
- [42）、equals与==的区别?](bigdata-project/src/main/doc/java.md)
- [43）、final, finally, finalize 的区别?](bigdata-project/src/main/doc/java.md)
- [44）、重载和重写的区别?](bigdata-project/src/main/doc/java.md)
- [45）、BIO、NIO、AIO 有什么区别?](bigdata-project/src/main/doc/java.md)
- [46）、String，StringBuffer，StringBuilder的区别?](bigdata-project/src/main/doc/java.md)
- [47）、Comparator与Comparable有什么区别?](bigdata-project/src/main/doc/java.md)
- [48）、说说反射的用途及实现原理，Java获取反射的三种方法?](bigdata-project/src/main/doc/java.md)
- [49）、Java中IO流分为几种?](bigdata-project/src/main/doc/java.md)
- [50）、Java创建对象有几种方式?](bigdata-project/src/main/doc/java.md)
- [51）、守护线程是什么？用什么方法实现守护线程?](bigdata-project/src/main/doc/java.md)
- [52）、String s与new String与有什么区别?](bigdata-project/src/main/doc/java.md)
- [53）、反射中，Class.forName和ClassLoader的区别?](bigdata-project/src/main/doc/java.md)
- [54）、Java的类加载机制?](bigdata-project/src/main/doc/java.md)
- [55）、JVM调优?](bigdata-project/src/main/doc/java.md)
- [56）、数据库3范式?](bigdata-project/src/main/doc/java.md)
- [57）、rpc服务和http服务区别?](bigdata-project/src/main/doc/java.md)
- [58）、CurrentHashMap底层结构?](bigdata-project/src/main/doc/java.md)
- [59）、单例模式双重检测机制?](bigdata-project/src/main/doc/java.md)
- [60）、java字符串contains实现原理?](bigdata-project/src/main/doc/java.md)
- [61）、Java map的contains实现?](bigdata-project/src/main/doc/java.md)
- [62）、java1.8 currentHashMap原理?](bigdata-project/src/main/doc/java.md)
- [63）、java CAS机制?](bigdata-project/src/main/doc/java.md)
- [64）、java中的悲观锁与乐观锁?](bigdata-project/src/main/doc/java.md)
* [9.12、Scala](bigdata-project/src/main/doc/scala.md)
- [1）、伴生对象Object和伴生类Class区别？](bigdata-project/src/main/doc/scala.md)
- [2）、var、val和def三个关键字之间的区别？](bigdata-project/src/main/doc/scala.md)
- [3）、trait和abstract class区别？](bigdata-project/src/main/doc/scala.md)
- [4）、case class是什么？](bigdata-project/src/main/doc/scala.md)
- [5）、apply和unapply区别？以及各自的使用场景？](bigdata-project/src/main/doc/scala.md)
- [6）、Nil、Null、None和Nothing四个类型的区别？](bigdata-project/src/main/doc/scala.md)
- [7）、Unit类型是什么？](bigdata-project/src/main/doc/scala.md)
- [8）、Option类型的定义和使用场景？](bigdata-project/src/main/doc/scala.md)
- [9）、yield如何工作？](bigdata-project/src/main/doc/scala.md)
- [10）、Scala隐士转换如何理解？什么场景下使用？](bigdata-project/src/main/doc/scala.md)
- [11）、什么是偏函数？](bigdata-project/src/main/doc/scala.md)
- [12）、什么是柯里化？](bigdata-project/src/main/doc/scala.md)
- [13）、什么是闭包？](bigdata-project/src/main/doc/scala.md)
- [14）、Array和ArrayBuffer区别？](bigdata-project/src/main/doc/scala.md)
- [15）、Scala中协变和逆变区别？](bigdata-project/src/main/doc/scala.md)
- [16）、Scala中有break么？](bigdata-project/src/main/doc/scala.md)
- [17）、Scala中上界和下界区别？](bigdata-project/src/main/doc/scala.md)
- [18）、Scala中Any AnyRef AnyVal区别？](bigdata-project/src/main/doc/scala.md)
* [9.13、Kafka](bigdata-project/src/main/doc/kafka.md)
- [1）、Kafka如何保证消息的顺序？](bigdata-project/src/main/doc/kafka.md)
- [2）、Kafka的receiver和direct区别？](bigdata-project/src/main/doc/kafka.md)
- [3）、Kafka和Flink保证仅消费一次ExactlyOnce？](bigdata-project/src/main/doc/kafka.md)
- [4）、Kafka中ISR、AR表示什么？](bigdata-project/src/main/doc/kafka.md)
- [5）、Kafka中HW、LEO等表示什么意思？](bigdata-project/src/main/doc/kafka.md)
- [6）、Kafka中是怎么体现消息顺序性的？](bigdata-project/src/main/doc/kafka.md)
- [7）、Kafka中分区器、序列化器、拦截器是否了解？它们之间的顺序使什么？](bigdata-project/src/main/doc/kafka.md)
- [8）、Kafka生产者客户端整体结构式什么样子的？使用了几个线程处理？分别是什么？](bigdata-project/src/main/doc/kafka.md)
- [9）、Kafka消费组中的消费者个数如果超过了topic的分区，那么就会有消费者消费不到数据，这句话是否正确？](bigdata-project/src/main/doc/kafka.md)
- [10）、Kafka中消费者提交消费位移时提交的是当前消费到的最新消息offset还是offset+1？](bigdata-project/src/main/doc/kafka.md)
- [11）、Kafka中有哪些情形会造成重复消费？](bigdata-project/src/main/doc/kafka.md)
- [12）、Kafka中有哪些情形会造成消息漏消费？](bigdata-project/src/main/doc/kafka.md)
- [13）、当使用kafka-topics.sh创建(删除)一个topic之后，kafka背后会执行什么逻辑？](bigdata-project/src/main/doc/kafka.md)
- [14）、Kafka的topic分区数可不可以增加？如果可以怎么增加？如果不可以，那又是为什么？](bigdata-project/src/main/doc/kafka.md)
- [15）、Kafka的topic分区数可不可以减少？如果可以怎么增加？如果不可以，那又是为什么？](bigdata-project/src/main/doc/kafka.md)
- [16）、Kafka有内部的topic么？如果有是什么？有什么用？](bigdata-project/src/main/doc/kafka.md)
- [17）、Kafka分区分配的概念？](bigdata-project/src/main/doc/kafka.md)
- [18）、简述Kafka日志目录结构？](bigdata-project/src/main/doc/kafka.md)
- [19）、如果指定了一个offset，Kafka Controller怎么找到对应的消息？](bigdata-project/src/main/doc/kafka.md)
- [20）、Kafka Controller的作用？](bigdata-project/src/main/doc/kafka.md)
- [21）、Kafka中有哪些地方需要选举，这些地方的选举策略有哪些？](bigdata-project/src/main/doc/kafka.md)
- [22）、Kafka失效副本是指什么？有哪些应对策略？](bigdata-project/src/main/doc/kafka.md)
- [23）、Kafka的哪些设计让它有如此高的性能？](bigdata-project/src/main/doc/kafka.md)
- [24）、简述Kafka的基础架构？](bigdata-project/src/main/doc/kafka.md)
- [25）、Kafka的用途有哪些？适用于哪些使用场景？](bigdata-project/src/main/doc/kafka.md)
- [26）、Kafka中过期数据清理？](bigdata-project/src/main/doc/kafka.md)
- [27）、Kafka中幂等是怎么实现的？](bigdata-project/src/main/doc/kafka.md)
- [28）、Kafka中优先副本是什么？有什么特殊的作用？](bigdata-project/src/main/doc/kafka.md)
- [29）、Kafka中zookeeper作用是什么？](bigdata-project/src/main/doc/kafka.md)
- [30）、Kafka的ACK机制？](bigdata-project/src/main/doc/kafka.md)
- [31）、Kafka如何实现ExactlyOnce？](bigdata-project/src/main/doc/kafka.md)
- [32）、说说Kafka的使用场景？](bigdata-project/src/main/doc/kafka.md)
- [33）、Kafka与传统MQ消息系统之间有三个关键区别？](bigdata-project/src/main/doc/kafka.md)
- [34）、kafka如何保证不丢失消息？](bigdata-project/src/main/doc/kafka.md)
- [35）、Kafka分区的目的？](bigdata-project/src/main/doc/kafka.md)
- [36）、Kafka消息是采用Pull模式，还是Push模式？](bigdata-project/src/main/doc/kafka.md)
- [37）、Kafka 数据存储类型？](bigdata-project/src/main/doc/kafka.md)
* [9.14、SQL](bigdata-project/src/main/doc/sql.md)
- [1）、SQL执顺序？](bigdata-project/src/main/doc/sql.md)
- [2）、排名函数ROW_NUMBER,RANK,DENSE_RANK啥区别？](bigdata-project/src/main/doc/sql.md)
- [3)、用一条sql语句查询出每门课都大于80分的学生姓名？](bigdata-project/src/main/doc/sql.md)
- [4)、sql窗口函数？](bigdata-project/src/main/doc/sql.md)
- [5)、sql窗口函数使用？](bigdata-project/src/main/doc/sql.md)
- [6)、sql中条件函数使用？](bigdata-project/src/main/doc/sql.md)
* [9.15、Doris](bigdata-project/src/main/doc/doris.md)
- [1）、Doris数据模型？](bigdata-project/src/main/doc/doris.md)
- [2）、Doris底层存储原理？](bigdata-project/src/main/doc/doris.md)
- [3）、MPP引擎的选型？](bigdata-project/src/main/doc/doris.md)
- [4）、Doris简介？](bigdata-project/src/main/doc/doris.md)
- [5）、Doris适用场景？](bigdata-project/src/main/doc/doris.md)
- [6）、Doris的查询规划过程？](bigdata-project/src/main/doc/doris.md)
- [7）、Doris的Rollup？](bigdata-project/src/main/doc/doris.md)
- [8）、Doris的写入方式？](bigdata-project/src/main/doc/doris.md)
- [9）、Doris优缺点？](bigdata-project/src/main/doc/doris.md)
- [10）、Doris查询方式？](bigdata-project/src/main/doc/doris.md)
- [11）、Doris的调度？](bigdata-project/src/main/doc/doris.md)
- [12）、Doris的数据划分？](bigdata-project/src/main/doc/doris.md)
- [13）、Doris的Bitmap去重？](bigdata-project/src/main/doc/doris.md)
- [14）、Doris、ClickHouse、Druid对比？](bigdata-project/src/main/doc/doris.md)
- [15）、Doris内置函数？](bigdata-project/src/main/doc/doris.md)
- [16）、MPP数据库？](bigdata-project/src/main/doc/doris.md)
- [17）、数据库架构设计？](bigdata-project/src/main/doc/doris.md)
- [18）、Doris近似去重、精确去重功能？](bigdata-project/src/main/doc/doris.md)
- [19）、DorisDB基本概念？](bigdata-project/src/main/doc/doris.md)
- [20）、Doris分区？](bigdata-project/src/main/doc/doris.md)
- [21）、Doris分桶？](bigdata-project/src/main/doc/doris.md)
- [22）、Doris的Bloom Filter索引？](bigdata-project/src/main/doc/doris.md)
- [23）、Doris物化视图？](bigdata-project/src/main/doc/doris.md)
- [24）、Doris系统架构？](bigdata-project/src/main/doc/doris.md)
- [25）、Doris的Rollup？](bigdata-project/src/main/doc/doris.md)
- [26）、Doris用Bitmap实现精确去重？](bigdata-project/src/main/doc/doris.md)
- [27）、Doris用HLL(HyperLogLog)实现近似去重？](bigdata-project/src/main/doc/doris.md)
* [9.16、Flink Table API&SQL](bigdata-project/src/main/doc/tableAndSql.md)
- [1）、1、Flink API&SQL概述？是什么？](bigdata-project/src/main/doc/tableAndSql.md)
- [2）、Flink API&SQL的planner？](bigdata-project/src/main/doc/tableAndSql.md)
- [3）、Flink API&SQL的编程模板？](bigdata-project/src/main/doc/tableAndSql.md)
- [4）、Flink API&SQL的TableEnvironment？](bigdata-project/src/main/doc/tableAndSql.md)
- [5）、catalog是什么？](bigdata-project/src/main/doc/tableAndSql.md)
- [6）、catalog中创建临时表与永久表？](bigdata-project/src/main/doc/tableAndSql.md)
- [7）、catalog中创建虚表(Virtual Tables)？](bigdata-project/src/main/doc/tableAndSql.md)
- [8）、catalog中创建外部数据源表(Connector Tables)？](bigdata-project/src/main/doc/tableAndSql.md)
- [9）、查询表Table API方式？](bigdata-project/src/main/doc/tableAndSql.md)
- [10）、查询表SQL方式？](bigdata-project/src/main/doc/tableAndSql.md)
- [11）、API&SQL底层的转换与执行，Old planner？](bigdata-project/src/main/doc/tableAndSql.md)
- [12）、API&SQL底层的转换与执行 Blink planner？](bigdata-project/src/main/doc/tableAndSql.md)
- [13）、查询优化，Old planner？](bigdata-project/src/main/doc/tableAndSql.md)
- [14）、查询优化，Blink planner？](bigdata-project/src/main/doc/tableAndSql.md)
* [9.17、大数据算法]()
- [1）、逻辑回归公式推导？]()
* [9.18、大数据后端【SpringBoot】]()
- [1）、什么是微服务？]()
* [9.19、大数据前端【Vue】]()