https://github.com/zhs007/finance-crawler

https://github.com/zhs007/finance-crawler

Last synced: 6 days ago
JSON representation

• Host: GitHub
• URL: https://github.com/zhs007/finance-crawler
• Owner: zhs007
• License: apache-2.0
• Created: 2017-12-07T06:01:58.000Z (over 8 years ago)
• Default Branch: master
• Last Pushed: 2018-03-20T08:57:09.000Z (over 8 years ago)
• Last Synced: 2025-01-03T18:46:36.185Z (over 1 year ago)
• Language: JavaScript
• Size: 56.6 KB
• Stars: 1
• Watchers: 2
• Forks: 0
• Open Issues: 2
• Metadata Files:
  • Readme: README.md
  • License: LICENSE

Awesome Lists containing this project

README

          
# finance-crawler

基于```jarvis-task```的爬虫，主要用来爬取金融数据。

所有的数据基本上都是全量保存的策略，所以默认的配置是数据库存储，而且做了一定的分表处理。

从金融数据结构来看，我们选择的是结构化数据，MYSQL。

我们尽可能的获取最原始的数据，然后根据我们需要的算法将数据转换成希望的格式。

不太建议每个用户自己彻底拉取一遍数据，完整的数据量确实有点大，可以直接使用我们已经获取到的数据。

------

```jarvis-task```是一个分布式的任务执行系统，名字灵感来源于钢铁侠私人AI助理。

数据量有些大，不太适合单机获取。

------

现在已经获取的数据包括：

- 基金基本数据

- 基金每日净值数据

- 上海交易所股票基本数据

- 深圳交易所股票基本数据

- A股分钟级数据

- A股日级数据

- oanda外汇数据（分钟级）

接下来应该还会增加的数据源：

- 期货数据

- 更多的外汇数据