Ecosyste.ms: Awesome
An open API service indexing awesome lists of open source software.
https://github.com/naoki-00-ito/js-scraping
Webスクレイピングプラグラム
https://github.com/naoki-00-ito/js-scraping
dotenv javascript nodejs puppeteer scraping
Last synced: 15 days ago
JSON representation
Webスクレイピングプラグラム
- Host: GitHub
- URL: https://github.com/naoki-00-ito/js-scraping
- Owner: naoki-00-ito
- License: mit
- Created: 2023-04-27T02:19:12.000Z (almost 2 years ago)
- Default Branch: master
- Last Pushed: 2024-05-30T12:26:37.000Z (8 months ago)
- Last Synced: 2024-11-12T10:08:36.118Z (2 months ago)
- Topics: dotenv, javascript, nodejs, puppeteer, scraping
- Language: JavaScript
- Homepage:
- Size: 10.7 KB
- Stars: 0
- Watchers: 1
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
# js-scraping
サイトリニューアル等で、既存サイトのテキストやリンク設定等をそのまま使いたい(構造変更の必要はある)とき用のスクレイピングプラグラム。
## 環境情報
- node 14.16.0
- npm 6.14.11
- puppeteer 19.11.1
- dotenv 16.0.3
## 利用方法
packageをインストールする
```
npm install
```
.env を作成し、スクレイピング対象のページのURLを記述する
```
PAGE_URL=https://www.hoge.hoge
```
scraping.js内、スクレイピング要素指定変数の値を対象要素のセレクターに書き換える
```diff
- const selectorItemWrap = ".item";
- const selectorTitle = ".title";
- const selectorText = ".text";
- const selectorLink = ".link";
+ const selectorItemWrap = ".col";
+ const selectorTitle = ".col__title";
+ const selectorText = ".col__text";
+ const selectorLink = ".col__link";
```
スクレイピングを実行する
```
node scraping.js
```
distディレクトリにCSVが出力される
