An open API service indexing awesome lists of open source software.

https://github.com/is0383kk/ai-docs-sync-workflow


https://github.com/is0383kk/ai-docs-sync-workflow

claude claude-code crawler github-actions python python-script workflow

Last synced: about 1 month ago
JSON representation

Awesome Lists containing this project

README

          

# Crawl Docs Workflow

複数の公式ドキュメントサイトを自動的にクロールし、
Markdown ファイルとしてリポジトリに保存するためのワークフローです。

## 概要

このプロジェクトは、以下のドキュメントサイトを定期的に取得し、マークダウンファイルとして保存+変更を追跡するためのツールです。
GitHub Actions を使用して毎日自動実行され、ドキュメントの更新を検出すると自動的にリポジトリにコミットします。

| サイト | 保存先 |
|--------|--------|
| [Claude Code 公式ドキュメント](https://code.claude.com/docs/en/) | `claude-code-docs/` |
| [OpenClaw ドキュメント](https://docs.openclaw.ai/) | `openclaw-docs/` |

## 機能

- 各ドキュメントサイト配下の全ページを自動巡回
- 各ページの Markdown ファイルを取得して保存
- ファイルの変更検出(ハッシュ比較)
- GitHub Actions による自動実行(毎日 JST 03:00)

## セットアップ

### 必要なもの

- Python 3.11 以上
- [uv](https://github.com/astral-sh/uv)(推奨)

### インストール

```bash
# リポジトリのクローン
git clone https://github.com/is0383kk/Crawl-Claude-Code-Docs-Workflow.git
cd Crawl-Claude-Code-Docs-Workflow

# 依存関係のインストール(uv使用)
uv sync
```

## 使い方

### ローカルでの実行

```bash
# スクリプトの実行
uv run crawl_docs.py
```

実行すると、各ターゲットの出力ディレクトリに Markdown ファイルが保存されます。

### GitHub Actions での実行

- **自動実行**: 毎日 JST 03:00 に自動的に実行されます
- **手動実行**: GitHub Actions の UI から「Sync Claude Code docs (en)」ワークフローを手動で実行できます

## プロジェクト構造

```
.
├── .github/
│ └── workflow/
│ └── sync-claude-docs.yml # GitHub Actionsワークフロー
├── claude-code-docs/ # クロールしたドキュメント(自動生成)
├── openclaw-docs/ # クロールしたドキュメント(自動生成)
├── crawl_docs.py # メインスクリプト
├── pyproject.toml # プロジェクト設定
├── uv.lock # 依存関係のロック
└── README.md # このファイル
```