https://github.com/smdmts/dbc-scala_ks_2018
databricks example code for scala関西summit 2018
https://github.com/smdmts/dbc-scala_ks_2018
Last synced: about 2 months ago
JSON representation
databricks example code for scala関西summit 2018
- Host: GitHub
- URL: https://github.com/smdmts/dbc-scala_ks_2018
- Owner: smdmts
- Created: 2018-10-14T11:46:57.000Z (over 6 years ago)
- Default Branch: master
- Last Pushed: 2018-11-09T04:18:31.000Z (over 6 years ago)
- Last Synced: 2025-02-04T14:35:58.643Z (4 months ago)
- Language: HTML
- Size: 121 KB
- Stars: 1
- Watchers: 2
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
# databricks
Scala関西2018 向け Databricksサンプルコード
## databricks 開発環境構築
1. databricks cli をインストールしてください.
- https://docs.databricks.com/user-guide/dev-tools/databricks-cli.html
1. databricks configure --token で環境変数を登録してください.
- host名: https://{account}.cloud.databricks.com/
- token: [https://{account}.cloud.databricks.com/#setting/account] で発行したAccess Tokensを入力
1. 環境変数、$(DBC_USER)に自分のDatabricksのメールアドレスを入力してください. 後続のnotebook開発で利用します.
## notebook開発方法
1. デプロイ済みノートブックをdatabricksからローカルにpullする/あるいはgithubからgit pullする
- make dbc_pull_prd
- git pull origin/master
1. 自分のworkspaceにノートブックをpushする
- make dbc_push_dev
- `/Users/$(DBC_USER)/workspace/` にプッシュされます
1. 開発完了後ローカルに開発済みのモジュールをpullしてローカルに持ってくる
- make dbc_pull_dev
## notebook example
- ./notebooks/1-SparkExample.html
- Sparkによる簡単なサンプルコード
- ./notebooks/2-CollaborativeFiltering.html
- 協調フィルタリングをするサンプルコード
- ./notebooks/3-MagicNumberAnalyze.html
- マジックナンバー分析をするサンプルコード