https://github.com/csg2008/webget

模块化的定向内容爬虫
https://github.com/csg2008/webget

Last synced: 3 months ago
JSON representation

模块化的定向内容爬虫

• Host: GitHub
• URL: https://github.com/csg2008/webget
• Owner: csg2008
• License: apache-2.0
• Created: 2017-11-20T13:50:23.000Z (over 7 years ago)
• Default Branch: master
• Last Pushed: 2018-12-27T08:36:35.000Z (over 6 years ago)
• Last Synced: 2025-01-31T04:03:16.643Z (4 months ago)
• Language: Go
• Size: 48.8 KB
• Stars: 2
• Watchers: 1
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: readme.md
  • License: LICENSE

Awesome Lists containing this project

README

        
# 说明

模块化的定向内容爬虫

爬虫工具参数说明

~~~ shell

使用说明:  webget  [命令选项] 其它参数

欢迎使用多模块定向内容抓取小工具

项目源码：https://github.com/csg2008/webget

命令选项:

  -e string

    	需要抓取的 URL 入口网址

  -h	显示应用帮助信息并退出

  -l	显示支持的数据抓取模块

  -o string

    	抓取的内容输出文件，为空输出到控制台

  -s	以 HTTP 服务的方式启动

  -t	使用模块默认参数试抓取

  -v	显示应用版本信息并退出

  -w string

    	指定要执行的内容抓取模块名

模块列表:

         xlfm   心理FM 专辑下载器

         lzfm   荔枝FM 专辑下载器

         cnblogs   博客园内容抓取器

         netease_stock   网易股票抓取器

         flysnow   飞雪无情个人博客内容抓取器

         xmly   喜马拉雅 FM 专辑声音下载链接生成器

~~~