Ecosyste.ms: Awesome
An open API service indexing awesome lists of open source software.
https://github.com/zhangyingwei/cockroach
又一个号称高性能的 java 爬虫工具/爬虫框架
https://github.com/zhangyingwei/cockroach
cockroach java java-8 java-spider spider spiders
Last synced: 3 months ago
JSON representation
又一个号称高性能的 java 爬虫工具/爬虫框架
- Host: GitHub
- URL: https://github.com/zhangyingwei/cockroach
- Owner: zhangyingwei
- License: apache-2.0
- Created: 2017-08-10T04:48:17.000Z (over 7 years ago)
- Default Branch: master
- Last Pushed: 2019-10-29T02:45:40.000Z (about 5 years ago)
- Last Synced: 2024-09-29T23:04:53.898Z (3 months ago)
- Topics: cockroach, java, java-8, java-spider, spider, spiders
- Language: Java
- Homepage: https://zhangyingwei.github.io/cockroach/
- Size: 415 KB
- Stars: 120
- Watchers: 6
- Forks: 19
- Open Issues: 3
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
# cockroach 爬虫：又一个 java 爬虫实现
[](https://travis-ci.org/zhangyingwei/cockroach)
[]()
[]()
[](http://www.apache.org/licenses/LICENSE-2.0.html)
重构了
[cockroach2](https://github.com/zhangyingwei/cockroach2)
## 简介
cockroach[小强] 当时不知道为啥选了这么个名字，又长又难记，导致编码的过程中因为单词的拼写问题耽误了好长时间。
这个项目算是我的又一个坑吧，算起来挖的坑多了去了，多一个不多少一个不少。
一个小巧、灵活、健壮的内容（pa）获取（chong）框架，暂且叫做框架吧。
简单到什么程度呢，几句话就可以创建一个内容（pa）获取（chong）程序。
### 依赖部分
```xml
com.github.zhangyingwei
cockroach-core
1.0.6-Beta
com.github.zhangyingwei
cockroach-annotation
1.0.6-Beta
```
### 代码部分：
```java
@EnableAutoConfiguration
public class CockroachApplicationTest {
public static void main(String[] args) throws Exception {
TaskQueue queue = TaskQueue.of();
queue.push(new Task("http://blog.zhangyingwei.com"));
CockroachApplication.run(CockroachApplicationTest.class,queue);
}
}
```
没错，就是这么简单。这个内容（pa）获取（chong）程序就是获（pa）取 `http://blog.zhangyingwei.com` 这个页面的内容并将结果打印出来。
在结果处理这个问题上，程序中默认使用 PringStore 这个类将所有结果打印出来。
## scala & kotlin
作为目前使用的 jvm 系语言几大巨头，scala 与 kotlin 这里基本上对跟 java 的互调做的很好，但是这里还是给几个 demo。
### scala
```scala
/**
* Created by zhangyw on 2017/12/25.
*/
class TTTStore extends IStore{
override def store(taskResponse: TaskResponse): Unit = {
println("ttt store")
}
}
object TTTStore{}
```
```scala
/**
* Created by zhangyw on 2017/12/25.
*/
@EnableAutoConfiguration
@ThreadConfig(num = 1)
@Store(classOf[TTTStore])
object MainApplication {
def main(args: Array[String]): Unit = {
println("hello scala spider")
val queue = TaskQueue.of()
queue.push(new Task("http://blog.zhangyingwei.com"))
CockroachApplication.run(MainApplication.getClass(),queue)
}
}
```
### kotlin
```kotlin
class TTTStore :IStore{
override fun store(response: TaskResponse) {
print("ttt store")
}
}
```
```kotlin
/**
* Created by zhangyw on 2017/12/25.
*/
@EnableAutoConfiguration
@ThreadConfig(num = 1)
@Store(TTTStore::class)
object MainApplication {
@JvmStatic
fun main(args: Array) {
print("hello kotlin spider")
val queue = TaskQueue.of()
queue.push(Task("http://blog.zhangyingwei.com"))
CockroachApplication.run(MainApplication::class.java, queue)
}
}
```
## 联系方式
* 邮箱： [email protected]
* 微信： fengche361
## Lisence
Lisenced under [Apache 2.0 lisence](./LICENSE)