Data

Tools

Indexes

Applications

Experiments

Awesome

An open API service indexing awesome lists of open source software.

awesome-nlp

📖 A curated list of resources dedicated to Natural Language Processing (NLP)
https://github.com/eric-erki/awesome-nlp

Last synced: 12 days ago
JSON representation

其他語言

函式庫與嵌入

  • pymorphy2 - 俄語好的詞性標記。
  • CLTK
  • python-frog - Python 綁定到 Frog，一個荷蘭語的自然語言處理套件。（pos 標記，詞形還原，依賴解析，NER
  • NLPH_Resources - 希伯來語自然語言處理的論文，語料庫和語言資源的集合。

函式庫

書籍

  • Twitter-text - 使用 JavaScript 實現的 Twitter 文本處理庫。
  • gensim - 用於從純文本進行無監督語義建模的 函式庫 👍
  • 斯坦福大學 NLP
  • OpenNLP
  • Ruby 中實用的自然語言處理
  • Retext - 用於分析和操縱自然語言的可​​擴展系統。
  • NLP Compromise - 瀏覽器中的自然語言處理。
  • Natural - 節點的一般自然語言設施。
  • Poplar - 一種基於 Web 的自然語言處理註釋工具（NLP）。
  • spaCy - 使用 Python 與 Cython 產業強度的自然語言處理 👍
  • textacy - 在spaCy上構建的更高級別的自然與儼處理。
  • scattertext - 用於生成語料庫之間語言差異的 d3 可視化的 Python 函式庫。
  • AllenNLP - 一個架構在 PyTorch 上的自然語言處理函式庫，用於開發各種語言任務最先進的深度學習模型。
  • PyTorch-NLP - 自然語言處理研究工具包設計來支援快速建立更好的數據加載器，詞向量加載器，神經網路層表示，常見的自然語言處理指標（如BLEU）原型。
  • Rosetta - 文本處理工具和包裝 (例如： Vowpal Wabbit)
  • PyNLPl - Python 自然語言處理函式庫. 適用於 Python 的通用自然語言處理函式庫。 還包含一些用於解析常見自然語言處理格式的特定模塊, 最常見的是用於 FoLiA，還包括 ARPA 語言模型，Moses 短語表，GIZA ++對齊。
  • jPTDP - 用於聯合詞性（POS）標記和依賴性解析的工具包。jPTDP 提供40多種語言的預訓練模型。
  • BigARTM - 一個用於主題建模的快速函式庫。
  • Snips NLU - 用於意圖解析的產品就緒函式庫。
  • Chazutsu - 用於下載和解析標準自然語言處理研究數據集的函式庫。
  • Word Forms - Word forms 可以準確生成所有可能的英語單詞形式。
  • Multilingual Latent Dirichlet Allocation (LDA) - 一種多語言和可擴展的文檔聚類管道。
  • Kashgari - 簡單的，基於 Keras 的多語言自然語言處理框架，允許您在5分鐘內構建模型，用於命名實體識別（NER），詞性標註（PoS）和文本分類任務。 包括 BERT 和 word2vec 嵌入。
  • MIT 資訊提取工具包 - 用於命名實體識別和關係提取的 C，C++ 和Python 工具。
  • CRF++ - 條件隨機場（CRF）的開源專案，用於實現分割/標記順序數據和其他自然語言處理任務。
  • BLLIP Parser - BLLIP 自然語言解析器（也稱為 Charniak-Johnson 解析器）
  • colibri-core - C++ 函式庫，命令行工具和 Python 綁定用於快速且內存有效的方式提取和使用基本語言結構，如 n-gram 和 skipgrams。
  • ucto - 適用於各種語言的基於 Unicode 的常規表達式標記生成器。工具和 C++函式庫。支持 FoLiA 格式。
  • libfolia - 用於 FoLiA 格式的 C++ 函式庫。
  • frog - 為荷蘭語開發的基於內存的自然語言處理套件：PoS 標記器，lemmatiser，依賴解析器，NER，淺層解析器，形態分析器。
  • MeTA - MeTA : ModErn Text Analysis 是一個 C++ 數據科學工具包，可以幫助挖掘大文本數據。
  • Mecab (日文)
  • StarSpace - 一個來自 Facebook 的函式庫用於創建單詞級，段級，文檔級和文本分類的嵌入
  • NLP4J
  • OpenRegex
  • CogcompNLP - 在伊利諾伊大學的認知計算組開發的核心函式庫。
  • RDRPOSTagger - 一個穩健的 POS 標記工具包（包括 Java 和 Python）以及40多種語言的預訓練模型。
  • Saul - 用於開發自然語言處理系統的函式庫，包括內置模塊，如 SRL，POS 等。
  • ATR4S - 具有最先進的自動術語識別方法的工具包。
  • tm - 基於正則化多語言 PLSA 的主題建模實現。
  • word2vec-scala - word2vec 模型的 Scala 接口; 包括對詞距離和詞類比等向量的操作。
  • Epic - Epic 是一個用 Scala 編寫的高性能統計解析器，以及用於構建複雜結構化預測模型的框架。
  • text2vec - R 中的快速矢量化，主題建模，距離和 GloVe 字嵌入。
  • wordVectors - 用於創建和探索 word2vec 和其他單詞嵌入模型的 R 包。
  • RMallet - 與 Java 機器學習工具 MALLET 接口的 R 包。
  • dfr-browser - 創建用於在 Web 瀏覽器中瀏覽文本主題模型的 d3 可視化。
  • dfrtopics - 用於探索文本主題模型的 R 包。
  • sentiment_classifier - 使用Word Sense Disambiguation 和 WordNet Reader 的情感分類。
  • jProcessing - 日本自然語言處理庫，具有日語情感分類。
  • Clojure-openNLP - Clojure 中的自然語言處理（opennlp）。
  • Infections-clj - 用於 Clojure 和 ClojureScript 的類似 Rails 的變形函式庫。
  • 自然語言處理（NLP）Ruby 函式庫，工具和軟件的集合
  • whatlang
  • snips-nlu-rs - 用於意圖解析的生產就緒等級函示庫。
  • Knwl.js - JS中的自然語言處理器。
  • Flair - 一個非常簡單的框架，用於在 PyTorch 上構建最先進的多語言 NLP。包括 BERT，ELMo 和 Flair 嵌入。
  • CRFsuite - CRFsuite 實現用於標記順序數據的條件隨機字段（CRF）。
  • Moses
  • ReVerb - Scale 開放信息提取。
  • TextBlob - 為專研常見的自然語言處理（NLP）任務提供一致的 API。 站在自然語言工具包 (NLTK) 和 模式膀上，並與兩者很好地配合 👍

服務

註釋工具

  • GATE - 通用架構和文本工程已有15年歷史，免費開源。
  • brat - brat 快速註解工具是一個用於協作文本註釋的在線環境。
  • tagtog
  • prodigy
  • Anafora
  • LightTag - 為團隊提供託管和管理的文本註釋工具，需花 $。

多語言自然語言處理框架

回答問題與知識提取

  • UDPipe - U 文件。主要用 C++ 編寫，為多語言NLP處理提供快速可靠的解決方案。
  • NLP-Cube - 句子分裂，標記化，詞形還原，詞性標註和依賴性分析。用 Dynet 2.0 用 Python 編寫的新平台。提供獨立（CLI / Python 綁定）和服務器功能（REST API）。

技術

回答問題與知識提取

文本嵌入

教學

影片和課程

書籍

閱讀內容

研究摘要和趨勢

自然語言處理-中文

函式庫

  • jieba - 中文詞彙分割實用程序的 Python 包。
  • SnowNLP - 中文自然語言處理 Python 包。
  • FudanNLP - 用於中文文本處理的 Java 函式庫。

自然語言處理-丹麥語

資料

自然語言處理-印度尼西亞

函式庫與嵌入

資料集

自然語言處理-印度語

資料, 文集與樹庫

自然語言處理-德文

函式庫

自然語言處理-泰語

函式庫

  • PyThaiNLP - Python 包中的泰語自然語言處理。
  • JTCC - Java 中的字符集群庫。
  • CutKum - 在 TensorFlow 中使用深度學習進行分詞。
  • SynThai - 在 Python 中使用深度學習進行分詞和 POS 標記。

資料

自然語言處理-西班牙語

資料

自然語言處理-越南語

函式庫

  • underthesea - 越南自然語言處理工具包。
  • vn.vitk - 越南文本處理工具包。
  • VnCoreNLP - 越南自然語言處理工具包。

資料

自然語言處理-阿拉伯語

函式庫

  • goarabic - Go包用於阿拉伯語文本處理。
  • jsastem - 用於阿拉伯詞幹的Javascript。

資料集

  • 多域數據集 - 阿拉伯語情感分析的最大可用多域資源。
  • LABR - LArge阿拉伯書籍評論數據集。
  • Arabic 停用詞 - 來自各種資源的阿拉伯語停用詞列表。

自然語言處理-韓文

函式庫

  • Mecab (Korean) - 韓文的自然語言處理 C++ 函式庫
  • KoalaNLP - 韓國自然語言處理的 Scala 函式庫。
  • KoNLPy - 用於韓語自然語言處理的Python包。

資料集

部落格與教學

資料集

回答問題與知識提取