{"id":13537744,"url":"https://github.com/super-l/superl-url","last_synced_at":"2026-01-16T18:04:02.127Z","repository":{"id":153580458,"uuid":"99240583","full_name":"super-l/superl-url","owner":"super-l","description":"根据关键词，对搜索引擎内容检索结果的网址内容进行采集的一款程序。可自动从多个搜索引擎采集相关网站的真实地址与标题等信息，可保存为文件，自动去除重复URL。同时，也可以自定义忽略多条域名等。","archived":false,"fork":false,"pushed_at":"2023-03-14T16:48:19.000Z","size":982,"stargazers_count":619,"open_issues_count":9,"forks_count":145,"subscribers_count":27,"default_branch":"master","last_synced_at":"2024-11-03T02:33:10.298Z","etag":null,"topics":[],"latest_commit_sha":null,"homepage":"http://www.msray.net/doc","language":"Python","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":null,"status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/super-l.png","metadata":{"files":{"readme":"README.md","changelog":null,"contributing":null,"funding":null,"license":null,"code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null,"governance":null,"roadmap":null,"authors":null}},"created_at":"2017-08-03T14:18:49.000Z","updated_at":"2024-10-16T02:42:57.000Z","dependencies_parsed_at":"2023-05-19T21:30:22.798Z","dependency_job_id":null,"html_url":"https://github.com/super-l/superl-url","commit_stats":null,"previous_names":[],"tags_count":0,"template":false,"template_full_name":null,"repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/super-l%2Fsuperl-url","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/super-l%2Fsuperl-url/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/super-l%2Fsuperl-url/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/super-l%2Fsuperl-url/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/super-l","download_url":"https://codeload.github.com/super-l/superl-url/tar.gz/refs/heads/master","host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":246757308,"owners_count":20828874,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2022-07-04T15:15:14.044Z","host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":[],"created_at":"2024-08-01T09:01:03.178Z","updated_at":"2026-01-16T18:04:02.119Z","avatar_url":"https://github.com/super-l.png","language":"Python","funding_links":[],"categories":["\u003ca id=\"9eee96404f868f372a6cbc6769ccb7f8\"\u003e\u003c/a\u003e新添加的","Python","\u003ca id=\"9eee96404f868f372a6cbc6769ccb7f8\"\u003e\u003c/a\u003e工具","Python (1887)","others"],"sub_categories":["\u003ca id=\"31185b925d5152c7469b963809ceb22d\"\u003e\u003c/a\u003e新添加的"],"readme":"\n## 最新公告\n\npython版本已停止维护，go语言版本已启动，地址：https://github.com/super-l/msray \n\n如需使用，可查看最新的基于Go语言的url采集项目：msray（于2022年9月发布）；\n\n```\nQQ群：235586685\nTG群：https://t.me/msray_soft\n免费版下载：https://github.com/super-l/msray/releases\n商业版文档：http://doc.msray.net\n```\n\n\n### 程序简介\n\n注意: 开源的python版本由于在构架与设计上无法完美绕过反爬虫机制，已经放弃更新。部分搜索引擎已经更新了规则，如果采集不到内容，可自行修改。\n\n注意，本Superl-l采集工具的python版本，本版本在linux下完美运行，winodws的部分版本有兼容性异常。开源仅为发现此类工具还没有开源与好用的，提供免费技术分享。\n如果没有技术基础，在使用者遇到问题，可查看下文的联系方式，自行通过QQ群请教他人无偿或有偿技术调试。\n\n\n4.0版本已经升级完成。后续的更新可能只是添加更多的搜索引擎支持了。result目录下面，自带了一个测试搜索python的结果txt.\n\n+ 根据关键词，对搜索引擎内容检索结果的网址内容进行采集的一款轻量级软程序。\n+ 程序主要运用于安全渗透测试项目，以及批量评估各类CMS系统0DAY的影响程度，同时也是批量采集自己获取感兴趣的网站的一个小程序~~\n+ 可自动从搜索引擎采集相关网站的真实地址与标题等信息，可保存为文件，自动去除重复URL。同时，也可以自定义忽略多条域名。\n\n\n### 程序特色\n-  支持同时采集多个搜索引擎(已内置了百度，搜狗，360),结构模块化，很方便进行扩展，可以无限添加。\n-  获取到的是搜索引擎的搜索结果的真实URL地址\n-  跨平台，采用Python开发，所有代码完整开源.并且无捆绑后门风险，更新方便。网上大部分URL采集软件为WINDOWS下的可执行文件，并且很多都在搜索引擎更新后无法正常使用。\n-  强大的过滤功能。可过滤多种顶级域名，可过滤指定标题中包含某关键子的URL，比如搜索结果中过滤属于youku.com的子域名URL。支持TXT配置过滤。\n-  可自动去除重复URL\n-  可灵活的通过配置文件自定义要保存的结果格式。比如只输出带参数的原始真实URL，或者只输出域名，或者同时输出标题，搜索引擎名称。\n-  可灵活的开启与关闭参与采集的搜索引擎，比如只想使用百度，就把其他搜索引擎参数设置为False即可。\n-  同时兼容python3和python2版本运行！良心开源小产品啊~~~\n-  可分别自定义不同搜索引擎每页显示数量(如果搜索引擎自身支持的话)\n-  支持多进程同时采集，每个搜索引擎一个进程\n-  可自定义每页采集时间间隔，防止被屏蔽\n-  实时显示采集到的网页的【真实URL】以及【标题】。前面的【ID】对应的是当前页搜索引擎结果的第X条数据\n-  保存类型可自定义，目前支持保存为本地txt，以及写入远程MYSQL数据库！\n\n### 当前版本\n- Version 4.0\n\n### 使用效果\n- 测试环境1：系统为Mac Pro 10.12  python版本为2.7和python3【测试通过】\n- 测试环境2：系统为win7 64位。python版本为2.7 【测试通过】\n- 如果发现运行有问题，一般都是操作系统的编码导致的小问题，欢迎截图反馈\n\n![image1](https://github.com/super-l/resource/raw/master/superl-url/images/1.png)\n![image2](https://github.com/super-l/resource/raw/master/superl-url/images/2.png)\n![image3](https://github.com/super-l/resource/raw/master/superl-url/images/3.png)\n\n\n### 安装依赖\n- 如果是python3，则：\n\n        pip install ConfigParser\n        \n        pip install tldextract\n        \n- 如果是Python2，则：\n\n        pip install tldextract\n        \n        pip install -i https://pypi.tuna.tsinghua.edu.cn/simple configparser\n        \n- 如果提示模块不存在，则根据提示进行安装！\n- 一般没有安装tld模块，使用 pip install tld 进行安装。或者官网下载(https://pypi.python.org/pypi/tld/0.7.6)\n- 如果使用遇到问题，可以在博客页面评论留言。\n\n\n### 使用说明\n\n- 如果要采集关键词为“hacker”的相关网站，采集搜索结果的前3页，则输入如下：\n- please input keyword:hacker\n- Search Number of pages:3\n  \n### 配置文件说明 config.cfg\n\n| 节点 | 参数 | 示例值 | 说明 |\n| :------| ------: | :------: |:------: |\n| global | save_type | mysql | 保存类型 可选择file或者mysql 如果是file则保存为本地txt |\n| global | sleep_time | 1 | 每次搜索处理完一页后的等待时间，防止太频繁被搜索引擎屏蔽 |\n| url | url_type | realurl | 保存文件txt里面显示的url类型。realurl=真实网站地址 baseurl=原始搜索引擎地址 urlparam=带参数的真实网站地址 |\n| filter | filter_status | True | 是否开启过滤器，如果开启，则过滤域名和标题都不生效 |\n| filter | filter_domain | True | 是否过滤域名 |\n| filter | filter_title | True | 是否过滤标题 |\n| log | write_title | True | 是否显示标题 |\n| log | write_name | True | 是否显示搜索引擎名称 |\n| engine | baidu | True | 百度搜索引擎模块是否开启 |\n| engine | sougou | True | 搜狗模块是否开启 |\n| engine | so | False | 搜搜模块是否开启 (搜搜现在抓取不到了) |\n| pagesize | baidu_pagesize | 50 | 每页条数 |\n| pagesize | sougou_pagesize | 50 | 每页条数 |\n| pagesize | so_pagesize | 10 | 每页条数 |\n| mysql | host | 127.0.0.1 | 如果保存类型为Mysql，则此节点必须配置正确 |\n| mysql | port | 3306 | 端口 |\n| mysql | user | root | 用户名|\n| mysql | password | root | 密码 |\n| mysql | database | superldb | 数据库名称 |\n| mysql | table | search_data | 表名称 |\n| file | save_pathdir | result | 如果保存类型为file,则这里设置的是保存的路径，当前为程序根目录的result文件夹 |\n| plugin | pr | True | 预留的插件功能，暂时不支持 |\n\n\n### 数据库创建表sql语句\n\n        CREATE TABLE `search_data` (\n          `id` int(11) unsigned NOT NULL AUTO_INCREMENT,\n          `engine` varchar(20) NOT NULL DEFAULT '',\n          `keyword` varchar(100) NOT NULL DEFAULT '',\n          `baseurl` varchar(255) NOT NULL DEFAULT '',\n          `realurl` varchar(255) NOT NULL DEFAULT '',\n          `urlparam` varchar(255) NOT NULL DEFAULT '',\n          `webtitle` varchar(255) NOT NULL DEFAULT '',\n          `create_time` int(10) NOT NULL,\n          PRIMARY KEY (`id`)\n        ) ENGINE=MyISAM AUTO_INCREMENT=395 DEFAULT CHARSET=utf8;\n\n\n\n### 4.0版本更新说明\n\n- 系统核心优化，去除和重新封装部分核心类；\n- 配置文件优化（更改部分参数的命名以及新增了参数）；\n- 更新搜索引擎类(比如，module/baidu/baidu.py)的实现写法更加方便与简洁；\n- python2和python3的兼容性优化(目前在本机MAC系统上分别使用py2和py3都可以正常运行，windows没有环境去测试，如有问题欢迎反馈)\n- 同时支持保存为本地txt和写入远程Mysql数据库；\n- 修复相关异常报错问题;  \n  \n  \n### 3.0版本更新说明\n- 系统重构，工程目录结构更清晰\n- 同时兼容Python2和python3\n- 搜索引擎模块化集成\n- 代码质量与运行效率优化\n- 支持不同搜索引擎多进程同时采集\n- 去重复功能优化\n- 过滤功能优化，要过滤的域名添加到txt配置文件即可，同时支持过滤标题关键词\n- tld包换成了tldextract(截取url的顶级域名用的)\n- 修复360搜索(so)的采集BUG\n- 中文采集BUG修复，保存的文件名也同样为中文，方便识别。\n\n### 2.0版本更新说明\n- 2.0版，内置的搜索引擎增加。包括百度，搜狗，360搜索（新增加支持的搜索引擎比较容易）；\n\n### 1.0版本更新说明\n- 1.0版，初始版本，满足个人基本需要；\n\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fsuper-l%2Fsuperl-url","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Fsuper-l%2Fsuperl-url","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fsuper-l%2Fsuperl-url/lists"}