https://github.com/zapabob/nkat

open science
https://github.com/zapabob/nkat

Last synced: 5 days ago
JSON representation

open science

• Host: GitHub
• URL: https://github.com/zapabob/nkat
• Owner: zapabob
• License: other
• Created: 2025-03-29T05:40:39.000Z (over 1 year ago)
• Default Branch: main
• Last Pushed: 2025-03-30T07:10:57.000Z (over 1 year ago)
• Last Synced: 2025-10-26T19:43:29.004Z (8 months ago)
• Language: Python
• Size: 7.81 KB
• Stars: 0
• Watchers: 1
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README.md
  • License: LICENSE

Awesome Lists containing this project

README

          
# Non-Commutative Kolmogorov-Arnold Transformer (NKAT)

非可換コルモゴロフ・アーノルドの定理に基づくTransformerモデルの実装。

## 概要

このリポジトリは、非可換コルモゴロフ・アーノルドの定理を拡張したTransformerモデル（NKAT）の実装を含みます。このモデルは、非可換性を考慮した特徴抽出と、量子情報理論との関連性を持つ新しいアーキテクチャを提供します。

## 主な特徴

- 非可換性を考慮したマルチヘッドアテンション

- 量子情報理論との関連性

- 高次元データの効率的な処理

- 転移学習のサポート

## インストール

```bash

git clone https://github.com/zapabob/NKAT.git

cd NKAT

pip install -r requirements.txt

```

## 使用方法

### MNISTでの学習

```python

python nkat_implementation.py

```

### 転移学習（Fashion-MNIST）

```python

python nkat_implementation.py --transfer

```

## モデルアーキテクチャ

- 入力次元: 784 (28x28)

- モデル次元: 256

- ヘッド数: 8

- レイヤー数: 4

- フィードフォワード次元: 1024

- 非可換性パラメータ: 0.1

## 性能

- MNIST: 97.76% 精度

- Fashion-MNIST: 転移学習による高い性能

## ライセンス

MIT License