https://github.com/iij/dagtools
A Command Line Tool for IIJ GIO Storage & Analysis Service
https://github.com/iij/dagtools
Last synced: about 1 month ago
JSON representation
A Command Line Tool for IIJ GIO Storage & Analysis Service
- Host: GitHub
- URL: https://github.com/iij/dagtools
- Owner: iij
- License: apache-2.0
- Created: 2018-08-29T05:22:49.000Z (over 6 years ago)
- Default Branch: master
- Last Pushed: 2020-06-09T02:55:56.000Z (almost 5 years ago)
- Last Synced: 2025-01-29T00:30:37.552Z (3 months ago)
- Language: Go
- Homepage: https://www.iij.ad.jp/biz/storage/
- Size: 66.4 KB
- Stars: 1
- Watchers: 7
- Forks: 3
- Open Issues: 2
-
Metadata Files:
- Readme: README.rst
- Changelog: CHANGELOG.rst
- License: LICENSE.txt
Awesome Lists containing this project
README
========
dagtools
========
IIJGIO ストレージ＆アナリシスサービス ストレージ専用コマンドラインツール
インストール
============
ご利用の環境に該当するパッケージを以下からダウンロードしてご利用ください。
- Linux (RHEL/CentOS kernel-2.6.18-274 以降、CentOS 6.0 以降を推奨)
- 64 bit: `dagtools-linux-amd64-1.6.0.tar.gz `_
- 32 bit: `dagtools-linux-386-1.6.0.tar.gz `_
- Mac OS X (10.6 以降)
- 64 bit: `dagtools-darwin-amd64-1.6.0.tar.gz `_
- 32 bit: `dagtools-darwin-386-1.6.0.tar.gz `_
- Windows (XP 以降)
- 64 bit: `dagtools-windows-amd64-1.6.0.zip `_
- 32 bit: `dagtools-windows-386-1.6.0.zip `_
.. warning::
- **CentOS 5.6 x86-64 (kernel-2.6.18-238)** の環境では Linux 64 bit版のパッケージは動作しないため、Linux 32 bit版のパッケージをご利用ください。
設定
====
| INI形式の設定ファイルを `/etc/dagtools.ini` もしくはカレントディレクトリに配置するか `-f` オプションでコマンド実行時に指定します。
| 設定パラメータは以下の通りです。
**[dagtools] セクション**
=========== ================================================================================
proxy HTTP Proxy を指定
verbose コマンドの実行内容を表示(-v オプションと同じ)
debug デバッグモードで実行(-d オプションと同じ)
concurrency | 並列実行数(default: 1)
| マルチパートアップロードの際のパートのアップロードの並列実行数となります。
tempDir | 一時ファイルの保存先
| 標準入力を使用したアップロードの場合は一時的にこのディレクトリの保存されます。
=========== ================================================================================
**[logging] セクション**
==== ===================================================
type ログ出力の種類(none, file, stdout, stderr)
file *file* タイプ時の出力先のファイルパス
==== ===================================================
**[storage] セクション**
================== =============================================================================================
endpoint IIJGIO ストレージ＆アナリシスサービスのStorage APIのエンドポイント
accessKeyId APIのアクセスキーID
secretAccessKey APIのシークレットアクセスキー
secure SSL/TLSプロトコルを用いた通信の暗号化(HTTPS)を使用するかどうか(true,false)
multipartChunkSize | マルチパートアップロードのチャンクサイズ(Bytes)。
| アップロードするファイルが指定のサイズより大きい場合にはマルチパートアップロードとなり、
このサイズで分割してアップロードします。このサイズを下回る場合にはPUT Objectとなります。
retry | HTTP/HTTPS リクエスト失敗時のリトライ回数 (デフォルト: 2)
| リトライしない場合は 0 を指定してください。
retryInterval | リトライを実施する間隔（ミリ秒単位, デフォルト: 3000）
| 1秒 = 1000 となります。
abortOnFailure | マルチパートアップロードを使用したアップロードに失敗した場合に、該当のマルチパートアップロ
ードを削除するかどうか(true,false)
| マルチパートアップロードの残留を防ぐ場合に有効にしてください。マルチパートアップロードを再
開する場合は false を指定してください。
================== =============================================================================================
設定例
======
::
[dagtools]
debug = false
verbose = true
proxy =
concurrency = 2
tempDir = /var/tmp
[logging]
type = file
file = dagtools.log
[storage]
endpoint = storage-dag.iijgio.com
accessKeyId =
secretAccessKey =
secure = true
multipartChunkSize = 1073741824 # 1GB
retry = 2 # number of retries
retryInterval = 3000 # 3.0 seconds
abortOnFailure = true
| および はサービスオンラインより払い出されたアクセスキーIDとシークレットアクセスキーとなります。
| 認証情報が含まれるファイルですので、ファイルの権限設定など適切に行ってください。
使い方
======
::
Usage:
dagtools [-h] [-d] [-v] [-f ] []
Options:
-d debug mode
-f string
specify an alternate configuration file (default: ./dagtools.ini or /etc/dagtools.ini)
-h print a help message and exit
-v verbose mode
-version
show version
Commands:
ls: list buckets or objects
cat: get an object and print to standard output
get: get an object and write to a file
exist: check to exist buckets/objects
rm: delete a bucket or object[s]
put: put a bucket or object[s]
help: print a command usage
sync: synchronize with objects on DAG storage and local files
policy: manage a bucket policy (put, cat, rm)
space: display used storage space
traffic: display network traffics
uploads: manage multipart-upload[s]
実行例
======
バケット新規作成(PUT Bucket)
----------------------------
::
$ dagtools put mybucket
ファイルのアップロード(PUT Object)
----------------------------------
単一のファイルをアップロード::
$ dagtools put path/to/file mybucket:foo/bar/my-object
or
$ dagtools put mybucket:foo/bar/my-object < path/to/file
複数のファイルをアップロード::
$ dagtools put path/to/file1 path/to/file2 mybucket:foo/bar/
$ dagtools put path/to/file* mybucket:foo/bar/
ディレクトリを指定してアップロード::
# 以下の場合はオブジェクトキーにディレクトリ名を含みます (foo/bar/dir/...)
$ dagtools put -r path/to/dir/ mybucket:foo/bar/
# 以下の場合はオブジェクトキーにディレクトリ名は含みません (foo/bar/...)
$ dagtools put -r path/to/dir/ mybucket:foo/bar
マルチパートアップロードの再開::
$ dagtools put -upload-id=E-Ckgc1u-fAEIhDcPYcx430ygDjDq1IO7zILJF9W1HpUrbjq3UVlbV23UA45UFNS9nocgth7vsOh.zWaqGm.Jg-UGRiX6WCBPvNM_teEwa4- path/to/file mybucket:foo/bar/my-object
オブジェクトの取得(GET Object)
------------------------------
カレントディレクトリに書き出す::
$ dagtools get mybucket:foo/bar/my-object
.. note::
上記の例では *my-object* というファイル名でカレントディレクトリに保存されます。
書き込み先を指定して書き出す::
$ dagtools get mybucket:foo/bar/my-object path/to/file
ディレクトリを指定して一括で取得する::
$ dagtools get -r mybucket:foo/bar/dir/ path/to/directory/
.. note::
- 末尾にスラッシュを付けた場合には、そのディレクトリにサブディレクトリを作成します。(上記の例では :code:`path/to/directory/dar/` が作られます)
- 逆に付けなかった場合には、そのディレクトリ名に置き換えられます。(上記の例では :code:`foo/bar/dir/` は :code:`path/to/directory/` として格納します)
オブジェクトの内容を表示(標準出力)::
$ dagtools cat mybucket:foo/bar/my-object
バケットの削除(DELETE Bucket)
-----------------------------
空のバケットを削除::
$ dagtools rm mybucket
.. note::
オブジェクトが1つ以上存在する場合は削除されません。
バケット内の全てオブジェクトも一緒に削除::
$ dagtools rm -r mybucket
オブジェクトの削除(DELETE Objects)
----------------------------------
単一のオブジェクトを削除::
$ dagtools rm mybucket:foo/bar/my-object
ディレクトリを指定して削除::
$ dagtools rm -r mybucket:foo/bar/
ファイルのプレフィックスを指定して削除::
$ dagtools rm "mybucket:foo/bar/my-*"
.. note::
| Linux環境の場合はアスタリスク( `*` )はシェルのワイルドカードとしてファイルパスに展開されてコマンドを実行される場合があります。
| 従って、ダブルクオート( `"` )もしくはシングルクォート( `'` )で囲んで指定してください。
削除したオブジェクトを表示::
$ dagtools rm -v -r mybucket:foo/
バケットの一覧表示(List Buckets)
--------------------------------
::
$ dagtools ls
オブジェクトの一覧表示(List Objects)
------------------------------------
ルートディレクトリのオブジェクト一覧::
$ dagtools ls mybucket
指定したディレクトリのオブジェクト一覧::
$ dagtools ls mybucket:foo
or
$ dagtools ls mybucket:foo/
オブジェクトのサイズを読みやすい形式(Human-Readable)で表示::
$ dagtools ls -h mybucket:foo
サブディレクトリを再帰的に表示::
$ dagtools ls -r mybucket:foo
指定したファイルのプレフィックスに一致するオブジェクトのみ表示::
$ dagtools ls "mybucket:foo/bar/my*"
.. note::
| 末尾にアスタリスク( `*` ) を付けることでオブジェクトキーに前方一致するオブジェクトの一覧を表示します。
| Linux環境の場合、アスタリスク( `*` )はシェルのワイルドカードとしてファイルパスに展開されてコマンドを実行される場合がありますので、従って、ダブルクオート( `"` )もしくはシングルクォート( `'` )で囲んで指定してください。
TSV形式で表示::
$ dagtools ls -tsv mybucket:foo
JSON形式で表示::
$ dagtools ls -json mybucket:foo
ETagも含めてリストを表示する::
$ dagtools ls -etag mybucket:foo
マルチパートアップロードの一覧表示(List uploads)
------------------------------------------------
バケット名とオブジェクトキーに一致するマルチパートアップロード一覧::
$ dagtools uploads ls mybucket:foo
バケットの全てのマルチパートアップロードを表示::
$ dagtools uploads ls -r mybucket
進行中のマルチパートアップロードの削除(DELETE uploads)
------------------------------------------------------
バケット名とオブジェクトキーに一致する進行中のマルチパートアップロードの削除::
$ dagtools uploads rm mybucket:foo
アップロードIDを指定して削除::
$ dagtools uploads rm mybucket:foo:E-Ckgc1u-fAEIhDcPYcx430ygDjDq1IO7zILJF9W1HpUrbjq3UVlbV23UA45UFNS9nocgth7vsOh.zWaqGm.Jg-UGRiX6WCBPvNM_teEwa4-
バケット内の全ての進行中のマルチパートアップロードを削除::
$ dagtools uploads rm -r mybucket
ディレクトリを同期
------------------
- ローカルのディレクトリとDAGストレージのバケット/ディレクトリ間で片方向の同期を行う機能です。
- ファイルの更新日時とサイズを元に変更を検出し、2回目以降の同期は変更されているファイルのみアップロード/ダウンロードします。
.. note::
注意: ファイルの削除は同期されません
DAGストレージからローカルのディレクトリに同期::
$ dagtools sync mybucket:foo/bar/ /path/to/local-dir/
ローカルのディレクトリからDAGストレージに同期::
$ dagtools sync /path/to/local-dir/ mybucket:foo/bar/
同期の状況を表示::
$ dagtools -v sync /path/to/local-dir/ mybucket:foo/bar/
確認(dry-run)::
$ dagtools -v sync -n /path/to/local-dir/ mybucket:foo/bar/
バケットポリシーの登録(PUT Bucket policy)
-----------------------------------------
::
$ dagtools policy put mybucket policy.json
or
$ dagtools policy put mybucket < policy.json
バケットポシリーの取得(GET Bucket policy)
-----------------------------------------
標準出力に表示::
$ dagtools policy cat mybucket
バケットポリシーの削除(DELETE Bucket policy)
--------------------------------------------
::
$ dagtools policy rm mybucket
ストレージ使用量の取得(GET Service space)
-----------------------------------------
::
$ dagtools space
ストレージに対するネットワーク通信量の取得(GET Service traffic)
---------------------------------------------------------------
日付を指定して取得::
$ dagtools traffic 20150401
先月１日から今日までの一覧を取得する::
$ dagtools traffic -b 1
バケットまたはオブジェクトの存在確認(HEAD Bucket, HEAD Object)
--------------------------------------------------------------
バケットの存在確認::
$ dagtools exist mybucket
オブジェクトの存在確認::
$ dagtools exist mybucket:foo
.. note::
- 終了ステータスで結果を確認することができます。
- 存在する場合: ``0``
- 存在しない場合(エラー): ``1``
- 表示オプション(``-v``)が有効の場合は標準出力に結果を表示します。
- コマンド引数に複数のバケットまたはオブジェクトを指定することもできます。
その他
======
終了ステータスについて
----------------------
終了ステータスはdagtools返されたサービスからのレスポンス内容を反映します。
.. note::
- 終了ステータス
- レスポンスが2xxだった場合: ``0``
- レスポンスが4xx又は5xxだった場合: ``1``
終了ステータスは、一般的な方法でスクリプトから参照する事が可能です。
たとえばWindowsであれば環境変数 %ERRORLEVEL% を参照する事で、またLinuxであれば $? を参照する事で値を確認できます。
エラー時のメッセージについて
----------------------------
dagtoolsが何らかのエラーを受け取った場合、以下のフォーマットで標準エラー出力にメッセージが出力されます。
.. note::
[Error] <レスポンスコード> <メッセージ> (<リクエストID>)
- レスポンスコードは、受信したHTTPレスポンスコードです。
- メッセージは、発生した問題を記述したメッセージです。
- リクエストIDは個々のリクエストに付与される識別子で、サポートへのお問い合わせの際にお知らせ頂くものです。