https://github.com/wxxiong6/crawl
php爬虫系统
https://github.com/wxxiong6/crawl
crawl php spider
Last synced: 5 months ago
JSON representation
php爬虫系统
- Host: GitHub
- URL: https://github.com/wxxiong6/crawl
- Owner: wxxiong6
- License: other
- Created: 2016-08-16T08:51:23.000Z (almost 10 years ago)
- Default Branch: master
- Last Pushed: 2018-09-05T10:40:40.000Z (almost 8 years ago)
- Last Synced: 2024-04-20T05:21:10.150Z (about 2 years ago)
- Topics: crawl, php, spider
- Language: PHP
- Homepage:
- Size: 326 KB
- Stars: 23
- Watchers: 3
- Forks: 14
- Open Issues: 1
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
php爬虫系统
====
* 程序只支持CLI,执行前需要把php加入环境变量
# 安装程序
### 1.dbconfig.php 添加正确的数据库配置
### 2. 安装程序
```PHP
php run install
```
# 启动程序
### 安装完成后，在setting表添加来源站点及正则提取规则。
### 启动程序 (参数是 setting 表id)
```PHP
php run run 1
```
### 清除项目数据 (参数是 setting 表id)
```PHP
php run clear 1
```
### 完整代码目录
```PHP
│ crawl.sql
│ LICENSE
│ README
│ run 系统入口程序
│
├─code
│ ├─config 配置文件
│ │ config.php
│ │ dbconfig.php
│ │
│ └─library 类库
│ │ App.php
│ │ Crawl.php
│ │ CrawlCallback.php
│ │ Import.php
│ │ Loader.php
│ │
│ └─db 数据库
│ MysqlPDO.php
│
├─data 数据
│
├─log 日志目录
│
├─tmp
└─web web目录
```