https://github.com/dovolopor-research/tensortime
🕙 TensorTime 让每次实验都可以复现！
https://github.com/dovolopor-research/tensortime
deep-learning deep-learning-toolbox machine-learning machine-learning-toolbox
Last synced: 2 months ago
JSON representation
🕙 TensorTime 让每次实验都可以复现！
- Host: GitHub
- URL: https://github.com/dovolopor-research/tensortime
- Owner: dovolopor-research
- License: mit
- Created: 2020-10-23T18:47:30.000Z (over 4 years ago)
- Default Branch: main
- Last Pushed: 2021-01-27T18:18:38.000Z (over 4 years ago)
- Last Synced: 2025-02-28T10:00:37.105Z (3 months ago)
- Topics: deep-learning, deep-learning-toolbox, machine-learning, machine-learning-toolbox
- Language: Python
- Homepage:
- Size: 8.79 KB
- Stars: 2
- Watchers: 2
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
# TensorTime
[](https://pypi.org/project/tensortime/)
[](https://github.com/dovolopor-research/tensortime/blob/main/LICENSE)
[](https://github.com/dovolopor-research/tensortime/stargazers)
🕙 **TensorTime 让每次实验都可以复现！**
## 1 缘起
在训练模型时，可能有很多参数需要调试，有时我们会把结果和参数记录下来。由于代码和数据等各种细节都可能会改变，所以在回溯代码时，就可能会发生无法复现先前结果的状况。
版本控制工具是一个解决的办法，但是 git 管理起大文件不是特别方便。所以我们需要一个工具既可以保存代码这种小文件，也要能保存数据和模型这种大文件。
`TensorTime` 就是这样一个工具，它在每次运行实验时，完整的复制一份代码和数据到特定的文件夹里。任何时候你都可以重新回溯，复现出先前的实验！
当然这样做也有一个很大的缺点，就是比较占用空间，因此 TensorTime 可以选择性的忽略一些文件或文件夹。比如有些实验的数据集就是不会变动的，可以选择直接忽略掉。
总的来说，TensorTime 是一种 **「空间换时间」** 的做法，希望你用得愉快～
## 2 安装
```bash
# 使用 pip 安装
pip install tensortime
# 或者从代码库安装
git clone https://github.com/dovolopor-research/tensortime.git
cd tensortime && python setup.py install
```
## 3 快速上手
### 3.1 引入
```python
# 通常在 train.py 文件下
from tensortime import TimeMachine
# ....
if __name__ == "__main__":
tm = TimeMachine()
tm.backup()
# ...
```
### 3.2 执行
```bash
# 正常执行文件，在开始运行时会要求输入实验备注
python train.py
>> tensortime: 输入实验备注 nlp
>> tensortime: 创建备份文件夹 tensortime
>> tensortime: 创建实验文件夹 Fri_Oct_23_09:36:04_2020-nlp
>> tensortime: 忽略 model
>> tensortime: 备份 train.py
>> tensortime: 忽略 tensortime
>> tensortime: 备份 .git
>> tensortime: 忽略 test.sh
>> tensortime: 备份 .ttignore
>> tensortime: 成功备份到 tensortime/Fri_Oct_23_09:36:04_2020-nlp
```
在 `tensortime/Fri_Oct_23_09:36:04_2020-nlp` 下即可找到本次实验的所有文件。
### 3.3 忽略
从上文的日志中可以看到，有些文件是不希望备份进去的，比如 `temp.py`、`.git`。我们可以直接在 backup 里设置参数，忽略掉指定文件。
```python
tm.backup(ignore=["temp.py", ".git"])
```
另外还可以使用类似于 `.gitignore` 的方式，在项目的主目录下创建一个 `.ttignore`。
```gitignore
# .ttignore
# 忽略文件（以#开头的是注释，不会被解析）
temp.py
# 忽略文件夹
.git/
```
> 注：暂时不支持一级以上的忽略，比如 `model/cnlp.py`。
### 3.4 附加
前面的代码展示了如何忽略不需要的文件，这个操作一般是在所有代码运行前。对于深度学习应用来说，我们有一项非常重要的数据——**权重**，它一般是代码跑完后才会生成的。因此我们需要在保存权重后，再执行一遍备份操作，这个时候仅仅需要备份权重文件。
```python
tm.backup(add=["save"])
```
## 4 进阶
### 4.1 自定义 TimeMachine 参数
- backup_dir: 指定备份文件夹，默认为 tensortime
- exp_dir: 指定实验文件夹，默认为 时间 + 备注
- exp_suffix: 指定实验文件夹的备注（在 exp_dir 为 None 时生效）
## 5 许可
[](./LICENSE)