https://github.com/deserter-io/vklistr
Скачивание списка Участников сообщества ВКонтакте
https://github.com/deserter-io/vklistr
javascript vk vkapi vkontakte vkontakte-api webworker
Last synced: 4 months ago
JSON representation
Скачивание списка Участников сообщества ВКонтакте
- Host: GitHub
- URL: https://github.com/deserter-io/vklistr
- Owner: Deserter-io
- Created: 2015-10-02T21:38:05.000Z (about 10 years ago)
- Default Branch: master
- Last Pushed: 2021-08-21T15:47:25.000Z (about 4 years ago)
- Last Synced: 2025-06-16T02:07:17.177Z (4 months ago)
- Topics: javascript, vk, vkapi, vkontakte, vkontakte-api, webworker
- Language: JavaScript
- Homepage:
- Size: 22.5 KB
- Stars: 20
- Watchers: 1
- Forks: 5
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
# vkListr – списки аккаунтов ВКонтакте
vkListr позволяет скачать список Участников группы/сообщества/паблика ВКонтакте.
## Зачем?
Проект затевался как эксперимент с web worker'ом для долгоиграющей задачи. И хотелось сделать что-то OpenSource'ное. Буду рад, если к проекту присоединятся талантливые разработчики.
## Ценные моменты
* запросы к API ВКонтакте учитывают их ограничение «не более трёх запросов в 1 секунду»;
* за один запрос получаем *почти* 25000 аккаунтов. Группа /live с их 3.5млн Участников скачивается за 85 секунд;
* учитывается вероятность *изменения* списка Участников во время скачивания: пачки по 1000 аккаунтов скачиваются внахлёст и совмещаются. Это позволяет избежать ситуации, когда, напр., скачан первый миллион, и тут 2 аккаунта, покинувшие группу в этот момент (из 1-го млн.), сдвигают все последующие на 2 влево – так несколько валидных аккаунтов могут выпасть из скачивания. Ситуация часто происходит с крупными группами. #todo сделать тест на такую ситуацию.
* код процедур на языке [VKScript](https://vk.com/dev/execute) хранится в отдельных файлах, которые удобно редактировать.
* прогнозируется время окончания длительного скачивания на основании завершенных итераций;
* инструмент работает целиком в браузере, на JavaScript. Однако потребуется разместить файлы на веб сервере и зарегистрировать приложение ВКонтакте, привязанное к вашему домену;
* комментарии кода на английском языке – мне так удобнее.
## Демо
Рабочая версия проекта: [deserter-io.github.io/vkListr](https://deserter-io.github.io/vkListr/)
## Установка
Скачать / клонировать репо в папку на веб сервере. Открыть папку или `index.html` на сайте в браузере. Прямо из локальной папки не заработет – попробуйте дописать протокол `http://` скриптам и стилям залинкованным из `index.html`.
Кроме того, понадобится создать приложение ВКонтакте типа «сайт». [Создайте собственное приложение](https://vk.com/editapp?act=create), и впишите его ID вместо предустановленного – в конце файла `index.html` см. строку `App.init({appId: 5092064 });` – вот это число и замените на ID вашего собственного приложения ВКонтакте. В настройках вашего приложения ВКонтакте, в секции Open API укажите домены, с которых ваше приложение будет работать.
Собственное приложение ВК также позволит вам перенести код VKScript'ов в Хранимые процедуры в настройках вашего приложения. Слегка изменив код, вы так сможете чуть ускорить сбор данных.
## Планы / TODO
* улучшить интерфейс;
* скачивать также списки Друзей и Подписчиков персон;
* скачивать расширенную информацию об аккаунтах, помимо их id: город, пол, возраст, имя;
* формировать пул из нескольких токенов, перелогиниваясь ВКонтакте, и сохранять его в браузере – для более быстрой работы параллельными воркерами.
## Автор
Сергей Соколов
[github](https://github.com/sergiks), [ВКонтакте](https://vk.com/serge.sokolov), hello @ sergeisokolov . com
Москва, 2015.