https://github.com/shijinkui/spark_study

spark源码学习
https://github.com/shijinkui/spark_study

Last synced: about 1 month ago
JSON representation

spark源码学习

• Host: GitHub
• URL: https://github.com/shijinkui/spark_study
• Owner: shijinkui
• License: apache-2.0
• Archived: true
• Created: 2015-01-11T01:35:29.000Z (almost 10 years ago)
• Default Branch: master
• Last Pushed: 2016-01-21T02:31:21.000Z (almost 9 years ago)
• Last Synced: 2024-08-02T13:28:39.309Z (4 months ago)
• Homepage:
• Size: 10.2 MB
• Stars: 305
• Watchers: 38
• Forks: 94
• Open Issues: 0
• Metadata Files:
  • Readme: README.md
  • License: LICENSE

Awesome Lists containing this project

• awesome-learning - shijinkui/spark_study

README

        
#		Spark Study

----------------

通过spark源码阅读，把spark内部运行逻辑用`图表+文字说明`的形式展现出来。

图表能够清晰表达全局的逻辑关系和细节部分

##		目录

1.	[Graphx:构建graph和聚合消息](spark_graphx_analyze.markdown)

2.	[从SparkPi图解Spark core](spark_core_getstart_from_pi.markdown) (hangzhou spark meetup分享过一次)

3.	[spark UI源码阅读](spark_ui.markdown) *2015.6.11*

4.	[食不厌精，脍不厌细：如何一步步将kcore算法提升5倍性能](spark_core_getstart_from_pi.markdown) *2014.12.27*

5.	[图解spark repl](spark_repl.markdown) *2016.1.12*

##		Spark八法

@玄畅    @明风

>	“井中八法”一共八式，因寇仲天赋行军打仗的超卓领导才能，以兵法入刀，故各式均含用兵之道。

>	总纲：故善战者，立于不败之地，而不失敌之败也。是故胜兵先胜而后求战，败兵先战而后求胜，因敌而制胜。

从八个方面分析spark, 观脉络看细节。

1.	[概要](spark_eight_style.markdown)

2.	[Spark八法之方圆: RDD](spark_eight_style_1_rdd.markdown)

3.	[Spark八法之不攻: DAG、Lazy](spark_eight_style_2_dag_lazy.markdown) 进行中

------------------

微博: @时金魁