Ecosyste.ms: Awesome
An open API service indexing awesome lists of open source software.
https://github.com/lucasdsbr/nltk-nlp-python
https://github.com/lucasdsbr/nltk-nlp-python
nlp nltk python
Last synced: 2 days ago
JSON representation
- Host: GitHub
- URL: https://github.com/lucasdsbr/nltk-nlp-python
- Owner: lucasDSBR
- Created: 2022-02-20T18:37:01.000Z (almost 3 years ago)
- Default Branch: main
- Last Pushed: 2022-02-20T19:34:15.000Z (almost 3 years ago)
- Last Synced: 2024-11-09T17:39:23.458Z (about 2 months ago)
- Topics: nlp, nltk, python
- Language: Python
- Homepage:
- Size: 1.95 KB
- Stars: 0
- Watchers: 1
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
# NLTK-NLP-Python
## Tipos de Tokenização:
### Tokenização por palavra:
- Palávras tidas como "átomos" da linguagem natural. "Célula unitária". Elas são a menor unidade significativa que ainda faz sentido por conta própria. A tokenização faz com que seja possível identificar as palavras que possuem mais frequência em seu texto.### Tokenização por palavra:
- Com esse tipo de tokenização é possível ver com mais clareza como as palavras podem se relacionar. É possível ter uma melhor visão do contexto.### Palavras de parada:
- Palavras que deseja ignorar. Podemos realizar a "desutilização" delas por meio de um pré-processamento.