https://github.com/jacksu/utils4s
scala、spark使用过程中，各种测试用例以及相关资料整理
https://github.com/jacksu/utils4s
akka breeze json4s scala scala-demo scala-spark spark spark-streaming
Last synced: about 1 month ago
JSON representation
scala、spark使用过程中，各种测试用例以及相关资料整理
- Host: GitHub
- URL: https://github.com/jacksu/utils4s
- Owner: jacksu
- Created: 2015-09-24T09:15:03.000Z (almost 10 years ago)
- Default Branch: master
- Last Pushed: 2019-02-09T02:17:18.000Z (over 6 years ago)
- Last Synced: 2025-04-09T08:04:28.685Z (3 months ago)
- Topics: akka, breeze, json4s, scala, scala-demo, scala-spark, spark, spark-streaming
- Language: Scala
- Homepage: http://jacksu.github.io/utils4s
- Size: 10.3 MB
- Stars: 1,086
- Watchers: 128
- Forks: 433
- Open Issues: 5
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
- my-awesome-starred - utils4s - scala、spark使用过程中，各种测试用例以及相关资料整理 (Scala)
README
utils4s
公众号：
[](https://travis-ci.org/jacksu/utils4s)[](https://gitter.im/jacksu/utils4s?utm_source=badge&utm_medium=badge&utm_campaign=pr-badge&utm_content=badge)
* [utils4s](#id1)
* [scala语法学习](#id2)
* [common库](#id21)
* [BigData库](#id22)
* [Spark](#id221)
* [Spark core](#id2211)
* [Spark Streaming](#id2212)
* [Spark SQL](#id2213)
* [Spark 机器学习](#id2213)
* [Spark Zeppelin](#id2214)
* [Spark 其它](#id2215)
* [ES](#id222)
* [贡献代码步骤](#id23)
* [贡献者](#id24)
**Issues 中包含我们平时阅读的关于scala、spark好的文章，欢迎推荐**
utils4s包含各种scala通用、好玩的工具库demo和使用文档，通过简单的代码演示和操作文档，各种库信手拈来。
**同时欢迎大家贡献各种好玩的、经常使用的工具库。**
[开源中国地址](http://git.oschina.net/jack.su/utils4s)
QQ交流群 `432290475（已满），请加530066027` 
或者点击上面gitter图标也可以参与讨论
[作者博客专注大数据、分布式系统、机器学习，欢迎交流](http://www.jianshu.com/users/92a1227beb27/latest_articles)
微博：[**jacksu_**](http://weibo.com/jack4s)
scala语法学习
说明：scala语法学习过程中，用例代码都放在scala-demo模块下。
[利用IntelliJ IDEA与Maven开始你的Scala之旅](https://www.jianshu.com/p/ecc6eb298b8f)
[快学scala电子书](http://vdisk.weibo.com/s/C7NmUN3g8gH46)(推荐入门级书)
[scala理解的比较深](http://hongjiang.info/scala/)
[scala99问题](http://aperiodic.net/phil/scala/s-99/)
[scala初学者指南](https://windor.gitbooks.io/beginners-guide-to-scala/content/introduction.html)(这可不是初学者可以理解的欧，还是写过一些程序后再看)
[scala初学者指南英文版](http://danielwestheide.com/scala/neophytes.html)
[scala学习用例](scala-demo)
[scala入门笔记](http://blog.djstudy.net/2016/01/24/scala-rumen-biji/)
[Databricks风格](https://github.com/databricks/scala-style-guide)
[scala/java 通过maven编译（Mixed Java/Scala Projects）](http://davidb.github.io/scala-maven-plugin/example_java.html)
common库
[日志操作](log-demo)（[log4s](https://github.com/Log4s/log4s)）
[单元测试](unittest-demo)（[scalatest](http://www.scalatest.org)）
[日期操作](lamma-demo)（[lama](http://www.lamma.io/doc/quick_start)）（注:只支持日期操作，不支持时间操作）
[日期时间操作](nscala-time-demo)（[nscala-time](https://github.com/nscala-time/nscala-time)）（注：没有每月多少天，每月最后一天，以及每年多少天）
[json解析](json4s-demo)（[json4s](https://github.com/json4s/json4s)）
[resources下文件加载用例](resources-demo)
[文件操作](file-demo)（[better-files](https://github.com/pathikrit/better-files)）
[单位换算](analysis-demo)（[squants](https://github.com/garyKeorkunian/squants)）
[线性代数和向量计算](breeze-demo)([breeze](https://github.com/scalanlp/breeze))
[分布式并行实现库akka](akka-demo)([akka](http://akka.io))
[Twitter工具库](twitter-util-demo)（[twitter util](https://github.com/twitter/util)）
[日常脚本工具](manger-tools)
BigData库
Spark
Spark core
[spark远程调试源代码](http://hadoop1989.com/2016/02/01/Spark-Remote-Debug/)
[spark介绍](http://litaotao.github.io/introduction-to-spark)
[一个不错的spark学习互动课程](http://www.hubwiz.com/class/5449c691e564e50960f1b7a9)
[spark 设计与实现](http://spark-internals.books.yourtion.com/index.html)
[aliyun-spark-deploy-tool](https://github.com/aliyun/aliyun-spark-deploy-tool)---Spark on ECS
Spark Streaming
[Spark Streaming使用Kafka保证数据零丢失](spark-knowledge/md/spark_streaming使用Kafka保证数据零丢失.md)
[spark streaming测试用例](sparkstreaming-demo)
[spark streaming源码解析](https://github.com/proflin/CoolplaySpark)
[基于spark streaming的聚合分析(Sparkta)](https://github.com/Stratio/Sparkta)
Spark SQL
[spark DataFrame测试用例](spark-dataframe-demo)
[Hive Json加载](hive-json-demo)
[SparkSQL架构设计和代码分析](https://github.com/marsishandsome/SparkSQL-Internal)
Spark 机器学习
[spark机器学习源码解析](https://github.com/endymecy/spark-ml-source-analysis)
[KeyStoneML](http://keystone-ml.org)
KeystoneML is a software framework, written in Scala, from the UC Berkeley AMPLab designed to simplify the construction of large scale, end-to-end, machine learning pipelines with Apache Spark.
[spark TS](spark-timeseries-demo)
Spark zeppelin
[**Z-Manager**](https://github.com/NFLabs/z-manager)--Simplify getting Zeppelin up and running
[**zeppelin**](https://github.com/apache/incubator-zeppelin)--a web-based notebook that enables interactive data analytics. You can make beautiful data-driven, interactive and collaborative documents with SQL, Scala and more.
[**helium**](http://s.apache.org/helium)--Brings Zeppelin to data analytics application platform
Spark 其它
[spark专题在简书](http://www.jianshu.com/collection/6157554bfdd9)
[databricks spark知识库](https://aiyanbo.gitbooks.io/databricks-spark-knowledge-base-zh-cn/content/)
[spark学习知识总结](spark-knowledge)
[Spark library for doing exploratory data analysis in a scalable way](https://github.com/vicpara/exploratory-data-analysis/)
[图处理(cassovary)](https://github.com/twitter/cassovary)
[基于spark进行地理位置分析(gagellan)](https://github.com/harsha2010/magellan)
[spark summit east 2016 ppt](http://vdisk.weibo.com/s/BP8uNBea_C2Af?from=page_100505_profile&wvr=6)
ES
[ES 非阻塞scala客户端](https://github.com/sksamuel/elastic4s)
Beam
[Apache Beam：下一代的数据处理标准](http://geek.csdn.net/news/detail/134167)
贡献代码步骤
1. 首先 fork 我的项目
2. 把 fork 过去的项目也就是你的项目 clone 到你的本地
3. 运行 git remote add jacksu [email protected]:jacksu/utils4s.git 把我的库添加为远端库
4. 运行 git pull jacksu master 拉取并合并到本地
5. coding
6. commit后push到自己的库( git push origin master )
7. 登陆Github在你首页可以看到一个 pull request 按钮,点击它,填写一些说明信息,然后提交即可。
1~3是初始化操作,执行一次即可。在coding前必须执行第4步同步我的库(这样避免冲突),然后执行5~7既可。
贡献者
[jjcipher](https://github.com/jjcipher)