https://github.com/tyaqing/baidu_tieba_crawler

技术栈vue cheerio socket mongodb redis 在线演示地址
https://github.com/tyaqing/baidu_tieba_crawler

Last synced: about 1 month ago
JSON representation

技术栈vue cheerio socket mongodb redis 在线演示地址

• Host: GitHub
• URL: https://github.com/tyaqing/baidu_tieba_crawler
• Owner: tyaqing
• Archived: true
• Created: 2016-12-10T16:43:15.000Z (about 8 years ago)
• Default Branch: master
• Last Pushed: 2017-04-25T07:55:15.000Z (over 7 years ago)
• Last Synced: 2024-08-03T09:10:33.958Z (4 months ago)
• Language: JavaScript
• Homepage: http://tb.femirror.com/
• Size: 87.9 KB
• Stars: 89
• Watchers: 8
• Forks: 16
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

• awesome-github-star - baidu_tieba_crawler

README

        
# baidu_tieba_crawler

## [演示地址](http://www.femirror.com/index)

服务器很慢，请原谅

### 一定要安装redis以及开启redis服务！！！

## 1.3更新说明

* 使用redis队列爬取 所有爬取任务都会插入到队列 实现后台爬取

* socket 只用于通讯，其他接口均换成http请求

* 增加了右边的队列的监控

## 更迭期望

* 数据分析 

* 任务队列，实现无需驻足网页爬取，而是后台爬取

* 代码优化 部分重写

## 项目地址

https://github.com/tyaqing/baidu_tieba_crawler

喜欢的给个star

# 使用说明书

！！！爬虫类的东东还是友善使用

### 程序运行不起来就要检查下 以下接口是否替换

~ 代理的api接口  mongo地址 socket地址 ~

## 真·调试

```

npm i          //安装后端依赖

node server.js //运行restful api 和socket服务 默认端口8081

cd fe          //进入前端目录

npm i          //安装前端依赖

npm run dev    //运行调试模式  默认端口8080

```

*@Molunerfinn 谢谢建议*

## 关于技术栈

用到的东西挺多的，但是都是用了点皮毛知识,提前踩坑。

#### 前端的

vue大礼包(vue-resource vue-router vue-socket.id element-ui)

#### 后端的

express socket.io superagent cheerio mongoose kue

#### 数据库

mongo