https://github.com/misterzurg/stepik_vk_hadoop

📓 Solutions to Stepik "Hadoop. Система для обработки больших объемов данных" course
https://github.com/misterzurg/stepik_vk_hadoop

hadoop stepik vk vk-education vkteam

Last synced: 5 days ago
JSON representation

📓 Solutions to Stepik "Hadoop. Система для обработки больших объемов данных" course

• Host: GitHub
• URL: https://github.com/misterzurg/stepik_vk_hadoop
• Owner: MisterZurg
• Created: 2023-04-06T14:49:26.000Z (over 1 year ago)
• Default Branch: master
• Last Pushed: 2023-07-10T16:20:52.000Z (over 1 year ago)
• Last Synced: 2024-12-18T21:17:48.651Z (5 days ago)
• Topics: hadoop, stepik, vk, vk-education, vkteam
• Language: Go
• Homepage: https://stepik.org/course/150/promo
• Size: 47.9 KB
• Stars: 0
• Watchers: 2
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

        
stepik_VK_Hadoop

## About the course

 

 



BigData, MapReduce, облачные вычисления, NoSQL. Все эти понятия стали популярными в последние годы. И все они связаны с распределенной обработкой больших объемов данных. Hadoop - одна из самых популярных open-source систем для обработки больших объемов данных. Необходимость в таких системах растет с каждым годом - все больше компаний сталкиваются с проблемой растущего объема данных. Facebook, Twitter, Yahoo!, Bing, Mail.ru - это далеко не полный список компаний, которые используют Hadoop. Многие из них, при этом, активно участвуют в его развитии. И это неслучайно, т.к. именно большие интернет-компании первыми столкнулись с проблемой обработки больших объемов данных: как их надежно хранить, как обрабатывать, как получать быстрый доступ на их изменение. Сейчас Hadoop используется не только в интернет-компаниях, но и во многих других сферах, где возникает проблема с объемом данных (экономика, астрономия, биология, физика и т.д.) Записывайтесь на наш курс и вы узнаете современные методы хранения и обработки больших объемов данных на примере системы Hadoop.


### Instructors

Евгений Чернов

### Offered by

[VK Team](https://vk.company/ru/company/education/)

## Syllabus

- MapReduce. Введение

  - Hadoop Streaming

- Решение задач с помощью MapReduce

  - Алгоритмы на MapReduce

  - Реляционные функции

  - Расчет TF-IDF

- Алгоритмы на графах в MapReduce

  - Поиск кратчайшего пути в графе

  - PageRank