https://github.com/arosh/isquestion

https://github.com/arosh/isquestion

natural-language-processing nlp

Last synced: about 1 year ago
JSON representation

• Host: GitHub
• URL: https://github.com/arosh/isquestion
• Owner: arosh
• Created: 2015-09-06T07:33:17.000Z (almost 11 years ago)
• Default Branch: master
• Last Pushed: 2015-09-06T07:43:35.000Z (almost 11 years ago)
• Last Synced: 2025-01-31T04:59:56.940Z (over 1 year ago)
• Topics: natural-language-processing, nlp
• Language: Python
• Size: 180 KB
• Stars: 1
• Watchers: 3
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

          
## これはなに？

ask.fmの質問から質問でないものを集める実験

## 結果

`active_learning.ipynb`を見て下さい。

## 使い方

get.js … ask.fmの質問と回答をスクレイピングするスクリプト。一気に全部読み込むとメモリに乗らないのでBASEを変えて分割して取得する

```

casperjs get.js USERNAME BASE

```

ml.py … 回答者が「質問ではない」と返答している質問を「質問ではない質問」として分類する実験。ナイーブベイズでf1=0.43程度。

al.py … 自分でデータセットを作るために能動学習を実装したもの。その時点での分類結果が50%に近いデータ10件に教師データを付与する。ナイーブベイズでf1=0.65程度 (アノテーションの質による)

## License

This software is released under the MIT License.