https://github.com/scieloorg/document-store-migracao
Document Store (Kernel) - Migração
https://github.com/scieloorg/document-store-migracao
scielo-publishing-framework
Last synced: 5 months ago
JSON representation
Document Store (Kernel) - Migração
- Host: GitHub
- URL: https://github.com/scieloorg/document-store-migracao
- Owner: scieloorg
- License: bsd-2-clause
- Created: 2019-02-26T18:23:08.000Z (over 7 years ago)
- Default Branch: master
- Last Pushed: 2022-12-08T04:51:24.000Z (over 3 years ago)
- Last Synced: 2024-04-14T20:25:29.063Z (about 2 years ago)
- Topics: scielo-publishing-framework
- Language: Python
- Size: 11.3 MB
- Stars: 1
- Watchers: 8
- Forks: 6
- Open Issues: 55
-
Metadata Files:
- Readme: README.md
- Changelog: CHANGES.txt
- License: LICENSE
Awesome Lists containing this project
README
# Document Store (Kernel) - Migração
[](https://travis-ci.org/scieloorg/document-store-migracao)
[](https://codecov.io/gh/scieloorg/document-store-migracao)
## Migração ISIS
Esta ferramenta possui a capacidade de migrar dados de bases ISIS (title e issue) em formato MST para o formato aceito pelo **Kernel**. A utilização de ferramentas externas se fez necessário com o intuito de garantir a máxima integralidade de dados entre as duas bases.
#### Dependências
Antes de executar a ferramenta de migração observe se as seguintes dependências estão presentes:
- Java `>= 1.8`
- Python `== 3.6.x`
#### Configuração
Para o devido funcionamento desta ferramenta é necessário que algumas configurações sejam feitas, siga as seguintes instruções:
1. Instale o Java.
2. Instale o Python.
3. Instale os utilitários de migração
```shell
python setup.py install
```
Este comando possibilitará que os utilitários de migração estejam disponíveis no seu `path` de execução.
#### Execução da fase ISIS
Após realizar a configurações descritas logo acima o sistema está apto para executar as fases de extração e carga na base de dados.
##### Extração de bases
```shell
migrate_isis extract /home/user/bases/title/title.mst --output /home/user/jsons/title.json
```
O comando acima executa a extração do arquivo `/home/user/bases/title/title.mst` e salva o seu resultado na pasta `/home/user/jsons/title.json`.
##### Importando entidades para o MongoDB
Esta é uma fase importante da etapa de migração onde as entidades previamente extraídas em formato JSON serão processadas e importadas no formato **Kernel** em uma base MongoDB. Para visualizar informações de ajuda digite:
```shell
migrate_isis import -h
```
Serão listadas todos os argumentos necessários para realizar a operação de importação. Um exemplo de importação segue o comando abaixo:
```shell
migrate_isis import /home/user/jsons/title.json --type journal --uri "mongodb://usuario:senha@localhost/?authSource=admin" --db document-store
```
- Este comando executa a importação do arquivo `/home/user/jsons/title.json`, que contem periódicos (`--type journal`), inserindo em uma base chamada *document-store* (`--db document-store`) com os devidos parâmetros para conexão com o banco (`--uri "mongodb://usuario:senha@localhost/?authSource=admin"`).
## Testes Automatizados
No servidor local:
`python setup.py test`
#### Informações gerais
Para visualizar todas as opções e a ajuda digite:
```shell
migrate_isis --help
```
## Getting Started Pyramid
---------------
- cd
- $VENV/bin/pip install -e .
- $VENV/bin/pserve development.ini