Ecosyste.ms: Awesome

An open API service indexing awesome lists of open source software.

Awesome Lists | Featured Topics | Projects

https://github.com/lucasdsbr/nltk-nlp-python


https://github.com/lucasdsbr/nltk-nlp-python

nlp nltk python

Last synced: 2 days ago
JSON representation

Awesome Lists containing this project

README

        

# NLTK-NLP-Python

## Tipos de Tokenização:

### Tokenização por palavra:
- Palávras tidas como "átomos" da linguagem natural. "Célula unitária". Elas são a menor unidade significativa que ainda faz sentido por conta própria. A tokenização faz com que seja possível identificar as palavras que possuem mais frequência em seu texto.

### Tokenização por palavra:
- Com esse tipo de tokenização é possível ver com mais clareza como as palavras podem se relacionar. É possível ter uma melhor visão do contexto.

### Palavras de parada:
- Palavras que deseja ignorar. Podemos realizar a "desutilização" delas por meio de um pré-processamento.