https://github.com/ytake/builderscon-example

this is a pen
https://github.com/ytake/builderscon-example

cassandra example kafka php spark-streaming

Last synced: about 2 months ago
JSON representation

this is a pen

• Host: GitHub
• URL: https://github.com/ytake/builderscon-example
• Owner: ytake
• Created: 2017-07-28T16:04:32.000Z (over 7 years ago)
• Default Branch: master
• Last Pushed: 2017-08-05T04:55:51.000Z (over 7 years ago)
• Last Synced: 2024-10-05T22:02:31.383Z (4 months ago)
• Topics: cassandra, example, kafka, php, spark-streaming
• Language: PHP
• Homepage:
• Size: 25.4 KB
• Stars: 0
• Watchers: 3
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

        
# builderscon-example

required php7.1, Scala2.11.11, Vagrant

include Cassandra 3.11, Kafka 0.11.0, Spark 2.2.0  

## SetUp

### Beginning

```bash

$ vagrant up

```

### Cassandra DDL

```bash

$ cd builderscon-example/bin

$ ./create.sh

```

### Composer

```bash

$ composer install

```

## Sample

このサンプルはkafkaのmessage-topicにメッセージを送信し、

Spark Streamingでメッセージごとの集計を行い、Cassandraへ保存するサンプルです。

保存結果は `192.168.10.10` にアクセスしてください、

jsonで結果が返却されます。

### producer

kafkaにメッセージを送信します

```

$ php kafka-console kafka:produce message-topic hello

```

*helloの部分適当な文字列を入れてください*

### consumer

kafkaに送られたメッセージを取得します

```

$ php kafka-console kafka:consume message-topic

```

## Spark Streaming Sample Application

spark streamingの実行は下記を参照してください

[stremaing sample readme](/spark-streams/README.md).

## Spark UI

spark-submit実行中は下記にアクセスすることで稼働状況が描画されます

spark-shell

http://192.168.10.10:4040/

## Kafka trifecta

kafkaのtopic確認などは下記にアクセスしてください

http://192.168.10.10:8888/