https://github.com/polamjag/simple_crawler

https://github.com/polamjag/simple_crawler

Last synced: about 1 month ago
JSON representation

• Host: GitHub
• URL: https://github.com/polamjag/simple_crawler
• Owner: polamjag
• License: mit
• Created: 2014-11-11T01:28:33.000Z (about 10 years ago)
• Default Branch: master
• Last Pushed: 2014-11-11T01:42:26.000Z (about 10 years ago)
• Last Synced: 2024-10-16T01:56:21.503Z (3 months ago)
• Size: 77.1 KB
• Stars: 0
• Watchers: 2
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README.md
  • License: LICENSE.txt

Awesome Lists containing this project

README

        
# なんこれ

* google custom searchを利用した簡単なクローラです

# 依存ライブラリ

```ruby

require 'json'  

require 'nokogiri'  

require 'sqlite3'  

require 'open-uri'  

```  

です。gem installでインストールしてください。

# 使い方

* google custom searchのAPIキーを取得する(参照: [offsidenowの日常を綴ったブログ](http://offsidenow.phpapps.jp/archives/415))

* ```git clone [email protected]:matsunoki/crawler_ruby.git```

* クローンしたリポジトリの中の__googleapi\_password.rb.default__を__googleapi\_password.rb__とする

* エディタで__googleapi\_password.rb__を開き、api_keyとcxを編集する

* ```ruby crawler.rb 検索キーワード ディレクトリ名 ```と実行

* データベースに検索キーワードについてGoogle検索した結果の(title, url)が保存されます

# ライセンス

* MITライセンスに準拠します ([LICENSE](LICENSE.txt))