дата хакатон что это

Как устроены хакатоны, зачем на них ходить и как готовиться: разбираем на примере темы Data Science

Авторизуйтесь

Как устроены хакатоны, зачем на них ходить и как готовиться: разбираем на примере темы Data Science

Хакатоны — это ивенты, которые устраивает компания или несколько компаний. Они собирают самых разных экспертов, чтобы в сжатые сроки решить конкретные бизнес-задачи. Это идеальная площадка для нетворкинга, где участники могут свободно обмениваться идеями и инструментами. Хакатоны вдохновляют новичков, позволяют профессионалам найти партнёров, а работодателям дают возможность оценить в работе и тех, и других.

Есть узкоспециализированные тематические хакатоны. Например, Data Science хакатон или datathon нацелен на решение задач data-проектов. На таком мероприятии собирается множество специалистов по обработке и анализу данных со всех уголков страны или даже мира.

Что вас ждёт на хакатоне

Подготовка

Как правило, всё начинается с того, что компания-спонсор объявляет своё задание и метрики, которые будет использовать жюри при оценке решений.

Вам также предложат ресурсы, которые можно использовать: API, техника, наборы данных.

Подбор команды

Далее участники объединяются в группы, как правило они формируются заранее. На самом хакатоне команда предлагает решение, рассказывает о своём опыте и роли каждого участника.

Состав команды зависит от тематики и задач хакатона. На Data Science хакатоне в команде обычно четыре человека: бэкендер, фронтендер, data scientist и бизнес-эксперт.

Соревнование

В течение всего ивента команда активно работает над прототипом, который ей нужно будет представить жюри в виде презентации.

По результатам хакатона участник может получить главный или один из призов: часто это деньги, дополнительные бонусы, а также возможность дальнейшего сотрудничества с компаниями-партнёрами.

Дополнительные активности

Иногда эксперты компании дают мастер-классы или читают лекции на технические темы. Также организаторы разбавляют ивенты активностями, чтобы участники могли отвлечься и немного расслабиться после напряжённой работы — это игровые приставки, теннис, кикер и даже йога.

Зачем участвовать в хакатоне

Общение с комьюнити

Вы вряд ли найдёте более разностороннюю компанию экспертов и более благоприятную среду, чем на хакатоне. У каждого свой уникальный опыт, свои идеи и цели: вам удастся не только познакомиться с единомышленниками, но и обменяться мнениями, получить ответы на вопросы и свежий взгляд на своё решение задачи. Принципы открытости и доступности знаний и навыков, которые свойственны хакатонам, этому очень способствуют.

Вы также сможете воспользоваться помощью и поддержкой менторов и представителей компаний. Они могут направить в нужное русло, подсказать, что вы упускаете и на что нужно обратить внимание при разработке продукта. Это может сэкономить вам кучу времени и дать полезную информацию.

Возможность получить классную работу

Кстати, компании нередко ищут себе сотрудников на хакатонах, ведь здесь всё как на ладони: вот потенциальный сотрудник в работе — что может быть нагляднее и весомее. Это вам не резюме и бесконечные этапы собеседования на десяти уровнях, здесь решения принимаются быстро и в то же время обоснованно.

При этом реальные результаты работы, с которыми вы подошли к финалу ивента, — отличное дополнение к портфолио, чтобы проще искать работу самому. Участие в хакатонах убедит работодателя, что вы заинтересованы развиваться в своей области и готовы не только выложиться на все 100%, но и соперничать на равных с конкурентами. К тому же вы не пасуете в стрессовой ситуации и выживете в условиях жёсткой конкуренции, с которой сталкиваются компании на рынке.

Призы

Это скорее приятные бонусы, хотя призы могут быть и головокружительными. История помнит ивенты с призом 1 миллион долларов! В целом эти суммы значительно меньше, средний чек за победу — примерно 1000 долларов. Иногда все участники делят один призовой фонд соразмерно месту в рейтинге победителей. Нередко призами становятся гаджеты: часы, ноутбуки, смартфоны. Но вкус победы слаще всех подарков, к тому же это прокачанные скиллы, крутая команда и нереальное чувство удовлетворения от проделанной работы. И, как следствие, новая мотивация двигаться вперёд.

Уникальный опыт, который вы получите на хакатоне, всегда будет с вами. Вы сможете поделиться им с коллегами, продемонстрировать на интервью, чтобы получить работу мечты, и использовать на следующем ивенте, где вы будете уже не новичком, а опытным участником.

Особая плюшка для специалистов по работе с данными: уникальные датасеты

Как правило, спонсоры предоставляют реальные датасеты. Данные защищены NDA, но вы можете использовать proof of concept с реальным датасетом. Это даст вам возможность продемонстрировать решение реальной задачи и ваше мастерство. С помощью такого трюка можно устроиться на новую крутую работу или запросто начать свой путь в Data Science.

Как готовиться к хакатону

Хорошая подготовка — залог высокого результата, поэтому без неё не обойтись. Начните с внимательного изучения требований организаторов ивента, соберите команду мечты и не забудьте о бытовых мелочах.

Условия и требования организаторов

Ваша идея и личная подготовка

Работа в команде и презентация

Комфорт

И ещё, если вам по каким-то причинам не нравится ивент, и вы не видите в нём пользы для себя, не теряйте времени зря, уходите. Хакатоны нужны участникам так же сильно, как и компаниям. Можно закрыть глаза на погрешности организации, но с откровенно плохого хакатона лучше уйти совсем.

Бонус: курсы для подготовки к хакатонам по Data Science

Чтобы лучше подготовиться к серьёзным соревнованиям, можно поучиться онлайн и пройти курсы.

Первый путь: освоить профессию Junior Data Scientist. Пройти курс, совсем не имея опыта, можно удалённо из любой точки мира. Менторы, эксперты и преподаватели из МИЭФ ВШЭ, EORA, HF labs, NVIDIA и Яндекс.Дзен составили его так, что 20% отдаётся теории и 80% — практике на реальных данных. К концу обучения у вас будет готово своё портфолио в виде Git-репозитория с решёнными кейсами, которые можно будет продемонстрировать работодателю.

Ещё один путь в Data Science — это дата-инженер. Курс по Data Engineering в Skillfactory преподаёт ведущий дата-инженер «АльфаСтрахования»‎, и вы на практике освоите основные методы и инструменты по работе с Big Data. Выпускники курса уже работают в компаниях OZON.ru, Альфа-Банк, Bayer, ВТБ, Мегафон, Henkel. Длится курс всего 10 недель, и сейчас его можно купить со скидкой 20%.

Готовьтесь к хакатонам, друзья. И помните, что главное — это не бояться совершать ошибки, ведь это часть уникального опыта, и нередко из этих самых ошибок неожиданно рождаются гениальные идеи. Удачных вам хакатонов!

Источник

Как мы участвовали в хакатоне по Data Science. Опыт команды «Япики»

Мы — выпускники курса «Аналитик данных» в Яндекс.Практикуме — хотим рассказать о дебютном участии нашей команды «Япики» в онлайн-хакатоне Райффайзенбанка по Data Science. В статье мы поделимся своим первым опытом участия в подобного рода соревнованиях — расскажем о провалах, успехах и лайфхаках, которые помогли нам получить приз в номинации «Лучшее публичное решение».

Итоговое публичное решение команды доступно по ссылке.

Состав команды: Мадихан Агатанов, Арсен Бадоян, Оксана Головина, Анна Григорьева и Екатерина Илюшина.

Хакатон проходил в онлайн-формате с 24 по 26 сентября 2021 года при поддержке Russian Hackers.

Изначально на хакатон зарегистрировались 2177 человек, из которых участвовали 1510 человек. В общем счёте было 585 команд. На итоговом лидерборде отметились 371 команда — это те, кто сделал хотя бы один сабмит.

Чёткого распределения ролей в нашей команде не было. Роль капитана выпала Арсену. Он использовал демократический стиль управления командой. Многие идеи приходили спонтанно и сразу же запускались в работу, спорные — выносились на общее голосование. Дополнительным фактором стресса для части команды был выпускной проект Яндекс.Практикума, над которым они работали в то же время.

Мы сделали ставку на интуицию, командный интеллект, демократический стиль управления и параллельное решение задач.

Задача хакатона и наши действия

Командам нужно было разработать алгоритм оценки стоимости коммерческой недвижимости. Банки выдают кредиты, в том числе под залог недвижимости. Для компании это страховка, а для клиента — возможность получить больше под меньший процент. Каждый объект залога оценивают: жилые — с помощью ИТ (например, SRG group или «Мобильного оценщика»), а вот коммерческие — вручную. Полноценный автоматизированный инструмент для оценки коммерческой недвижимости пока никто не анонсировал.

Сам хакатон состоял из двух частей: публичной (public score) и приватной (private score). Публичная часть состояла из открытой публикации решения для участия в отдельной номинации. По словам организаторов хакатона, мало кто открыто размещает свои решения: высок риск, что твои идеи будут использованы другими участниками для улучшения своих моделей. В итоге нас могли потеснить более сильные команды, которые получали весомое преимущество за счёт объединения или усреднения результатов нескольких решений.

До дедлайна публичной части оставалось чуть больше часа. На гитхабе было только несколько публичных решений, и мы входили в топ-10 в лидерборде по public score. Но всё могло измениться: в последнюю ночь хакатона большинство команд продолжали интенсивно работать и постоянно улучшали свои решения.

За час нам предстояло оформить решение в соответствии с правилами: код, сторонние датасеты, подробное описание в readme и краткий анонс в телеграм-чате хакатона. Мы распределили задачи и сконцентрировались на их выполнении: одна часть команды работала над описанием решения, другая — оформляла блок с EDA. Когда всё было готово, мы объединили обе части и загрузили наше решение. Нервы были на пределе, так как ещё возникали технические проблемы: Google Colab отказывался воспроизводить стандартные графики, библиотеки вступали в конфликт, у кого-то от перегрузки слетела anaconda. Ровно в 22:00 мы отправляем анонс нашего решения в чат. Организаторы хакатона решают продлить дедлайн публичной части до 22:30.

Одна часть команды, работавшая накануне допоздна над разведывательным анализом и baseline-решением, уходит отдыхать, а другая остаётся допиливать модель.

Утро было полно сюрпризов. За ночь наше решение на публичном ЛБ тихо сползает с 7-го до 53-го места. Оказалось, что наша идея с AutoML помогла многим командам значительно улучшить свои решения и дала прирост в скоре, а нам — дополнительные очки в конкурсе. Забегая вперёд, отметим, что команда BigSberBosses с моделью LightAutoML вошла в топ-10 на приватном лидерборде и заняла 9-е место. Кому-то оказались полезны датасеты со статистикой по населению и зарплатам, которые мы использовали для обогащения данных.

В итоге «Япики» получили приз в номинации «Лучшее публичное решение» — нам удалось обойти 23 кандидата!

Решение

Решение было представлено на основе LightAutoML. Дополнительно мы использовали следующие приёмы, часть из которых не вошла в финальное решение:

Обзор результатов приватного лидерборда

Загрузка в приватный лидерборд закончилась в 9:00 26 сентября. Результаты появились в 10:00.

Источник: приватный лидерборд хакатона Raifhack DS

По результатам итогового скора в приватном лидерборде команды разделяли тысячные значения после запятой. Наша команда заняла 42-е место в приватном лидерборде из более чем 300 команд. Неплохой результат!

Источник: приватный лидерборд хакатона Raifhack DS

Хакатон — серьёзное испытание для команд. К сожалению, не все дошли до финала.

Источник: слайд организаторов хакатона RaifhackD

Что мы сделали хорошо:

Что мы сделали плохо:

Небольшая статистика коммуникации в группе

Конечно же, мы провели исследование собственной активности. Информация на графике дополняет нашу историю.

В чате группы 2885 сообщений и 114 скриншотов. Было сделано восемь групповых созвонов, из которых один длился более двух часов подряд!

Тайминг работы команды

17 сентября (за неделю до хакатона)
17:00. Первый созвон с наставником, определение плана действий.

24 сентября
18:30. Начало хакатона.
19:15. Второй созвон команды, обсуждаем задачу, уходим делать разведывательный анализ данных.
20:07. Обогащаем данные с помощью датасетов с населением и зарплатами.

25 сентября
0:20. EDA готов, запустили baseline-модель.
0:55–3:00. Третий созвон, обсуждаем результаты EDA, совместно разбираем baseline, пробуем оптимизировать.
10:00. Четвёртый созвон, делимся результатами ночной работы.
11:20. Первые результаты: базовый алгоритм LightAutoML показывает скор на паблике лучше, чем baseline.
12:00. Мы на 7-м месте. Пятый созвон, обсуждаем кастомизацию LAMA.
15:30. Шестой созвон, участники в режиме онлайн настраивают подключение дополнительных мощностей от Selectel.
16:00. Седьмой созвон, обсуждаем feature engineering для улучшения качества модели.
17:30. На гитхаб загружено только одно публичное решение.
17:42. У одного из участников слетает anaconda.
18:06. Впервые высказывается предложение участвовать в публичной номинации, но пропадает в огромной массе сообщений чата.
18:36. Александр Рыжков, один из создателей LAMA, появляется в чате хакатона и предлагает идеи улучшения модели. Тестируем.
19:17. Команда принимает решение попробовать идею из публичного решения и «подрезать предикт».
19:46. Наше решение снова в топ-10.
20:17. Капитан команды предлагает участвовать в публичной номинации, голосуем.
20:30. Восьмой созвон, обсуждаем распределение задач по подготовке решения к публикации, параллельно продолжаем улучшать модель.
20:40. Мы на 7-м месте в топ-10.
22:00. Публикуем решение, едва успевая уложиться в дедлайн. По многочисленным просьбам спустя несколько минут организаторы объявляют о продлении дедлайна до 22:30. Команда утомлена, пробуем ещё несколько идей, в том числе работу с временными признаками. Уходим на отдых около полуночи.

26 сентября
Наше решение за ночь спустилось до 40-й позиции.
7:00. Часть команды уже не спит. В чате активно обсуждаются требования к оформлению решений — приближается дедлайн по приватному лидерборду.
8:30. Команда в сборе, ждём. Решение на 53-м месте.
8:50. Напряжение потихоньку спадает. Делимся впечатлениями, обсуждаем то, что не успели попробовать. Ждём публикацию private leader board.
9:30. Приватный лидерборд открывают с получасовой задержкой. Наше решение поднялось с 53-го места на паблике до 42-го на привате — это отличная новость. Значит, наша модель хорошо показала себя на тех данных, которые не видела, хотя чаще бывает наоборот.
16.00. Участвуем в награждении. Победа!

Выводы и рекомендации

Было круто! Такой быстрой прокачки опыта и знаний у нас ещё не было. Мы поработали командой в боевых условиях, создали и обучили эффективную модель для прогнозирования стоимости недвижимости. Это новый уровень, и останавливаться мы не собираемся.

Вот наши рекомендации для тех, кто впервые решился участвовать в хакатоне.

Источник

Всё о хакатонах для новичков: советы бывалых и календарь на вторую половину 2021 года

Хакатоны — отличный способ прокачаться в разработке, пополнить портфолио или найти команду для проекта и заработать. Рассказываем, как в них вписаться.

Слово «хакатон» образовалось от hacker («хакер») + marathon («марафон»). Это событие, во время которого программисты, дизайнеры и менеджеры сообща решают какую-то проблему за ограниченное время. Первый хакатон провели в 1999 году разработчики OpenBSD и Sun Microsystems. Остальное — уже история!

Обычно цель хакатона — создать полноценную версию программы или сервиса, а каждый хакатон сфокусирован на конкретной области знаний — языке программирования, операционной системе, специфических типах приложений, программном интерфейсе (API).

Например, главная тема «Авиахакатона» от МАИ — проблема авиаперевозок. Участникам нужно было разработать одно из нескольких решений:

«Как правило, у хакатонов либо образовательные, либо коммерческие цели. Причём в России хакатоны чаще именно коммерческие: компания хочет решить какую-то технологическую проблему или массово нанять разработчиков».

Пример коммерческого хакатона — Tech Monsters Night от «М.Видео». За решение задач участники получали призы вроде свежего айфона или игрового ПК. А победители получали офферы на работу в компании — видимо, это была попытка захантить талантливых разработчиков.

«На мой взгляд, есть деление по типам организаторов. Например, у хакатонов от коммерческих компаний цель — продвижение HR-бренда и хантинг разработчиков, а сообщества чаще всего проводят хакатоны, чтобы просто сделать что-то клёвое».

Михаил Корнеев,
тимлид в BestDoctor, автор YouTube-канала «Хитрый питон»

Пишет про технологии и бизнес.

Веселье и деньги: зачем нужны хакатоны

Главных причин для участия в хакатоне — три:

«Я участвовал в хакатонах, потому что хотел провести время с друзьями-разработчиками за написанием кода в условиях ограниченного времени. Это добавляет изюминку происходящему. И если честно, за два года на работе у меня ещё не было ни одного аврала, который по напряжению и азарту мог бы сравниться с хакатоном. Лично я только один раз целенаправленно шёл на хакатон за деньгами — но это не значит, что в хакатонах денег нет. Просто у меня другие цели».

Например, у хакатона Audithon от Счётной палаты РФ в этом году призовой фонд составил один миллион рублей. Соревновались в четырёх номинациях: «Визуализация данных», «Аналитика данных», «Программное решение» и «Нестандартное решение» — что бы это ни значило. 🙂

Учебных хакатонов в России — единицы. И в них, как правило, либо вообще нет призового фонда, либо он чисто символический. В хакатонах, которые запускают энтузиасты, денег тоже негусто — хотя и идут в них совсем не для того, чтобы «поднять бабла». Например, у образовательного хакатона «Прожектор 2021» от «Теплицы социальных технологий» и «Новой газеты» всего один приз в 110 тысяч рублей.

Победа в хакатоне — отличный пункт в резюме:

«Я уже и не помню точное количество хакатонов, в которых участвовал. Что-то около десятка. Большинство хакатонов было для меня развлечением. Но в итоге проекты с хакатонов усиливали моё портфолио, и меня звали на работу крупные компании, а университет платил стипендию. Так я нашёл свою первую работу — причём сразу в корпорации и за доллары. А на втором курсе я выиграл на хакатоне приз — 50 тысяч рублей».

И с карьерной точки зрения хакатоны особенно интересны новичкам. Хакатоны помогают разорвать порочный круг, когда тебя не берут на работу, потому что нет портфолио, а нет портфолио — потому что не берут на работу.

«Обычно на своих курсах я рекомендую новичкам ходить на хакатоны. Это крутой опыт, возможность познакомиться и показать себя эйчарам».

Михаил Корнеев,
тимлид в BestDoctor, автор YouTube-канала «Хитрый питон»

Советы по подготовке к хакатону от Александра Сидоренко

По какому принципу формировать команду

Я собирал свою команду из ребят с горящими глазами — и считаю, что это лучший способ подбора. Причём команду я сколотил ещё на первом курсе. Сейчас её изначальный состав сильно изменился — из тех, кто начинал с нами, осталось только четыре человека, включая и меня. Но на самом деле команда больше — просто часть людей пока «в запасе».

Как готовить команду

Не думаю, что нужны какие-то специфические тренировки. Главное, чтобы в команде были правильно распределены роли. Один может накидать кучу идей и запрогать мобилку, другой задизайнит идеи и слайды, изучит рынок и подготовит речь для самого харизматичного участника, остальные роли могут быть сугубо техническими. И это не значит, что технари не важны, — технари продадут решение технарям в жюри, а те, кто делает картинку и продажи, продадут идею всем остальным.

Как готовиться к задачам хакатона

Я обычно накидываю ряд киллерфич и базовую функциональность по своей роли заранее. Делаю автодеплой для фронта и бэка, простенький круд, разворачиваю базу данных и что-то такое базовое, на что жалко тратить время уже на самом мероприятии. В остальном я стараюсь сохранить соревновательную атмосферу и не пишу приложение заранее. Ещё желательно хорошенько выспаться, потому что уже во время хакатонов нам удавалось поспать в среднем только 2–4 часа в сутки».

Как побеждать на хакатонах

Не забывайте про презентацию, дизайн и экономическую составляющую продукта. Мы не смогли победить во многих хакатонах, пока не стали делать на этом особый упор.

Хотите покорить все хакатоны? Выберите курс на свой вкус в разделе «Программирование» на сайте Skillbox и соберите свою команду.

обложка: Абрикос Абрикосовый для Skillbox Media

Источник