Data Science обучение — курсы машинного обучения


Содержание

Как стать экспертом в Data Science: пошаговый план обучения

Мало кто может предсказывать события до ста процентов верно. Но дата-сайнтисты научились. А мы нашли последние тренды Data Science и составили план для тех, кто хочет глубоко изучить эту область.

Выбор языка

Сейчас в науке о данных используются два основных языка: Python и R. Язык R применяется для сложных финансовых анализов и научных исследований, потому его глубокое изучение можно отложить на потом.

На начальном этапе можно остановиться на изучении основ:

  • нюансы работы RStudio;
  • библиотеки Rcmdr, rattle и Deducer;
  • типы данных контейнеров, векторы и первичные типы данных;
  • factors, структуры и матрицы.

Быстро разобраться в теории языка R поможет сайт Quick-R.

Python популярен больше: на нём проще научиться писать код и для него написано множество пакетов визуализации данных, машинного обучения, обработки естественного языка и сложного анализа данных.

Что важно освоить в Python:

  • функции, классы, объекты;
  • структуры данных;
  • базовые алгоритмы и библиотеки;
  • качественную отладку и тестирование кода;
  • Jupyter Notebook;
  • Git.

Чтобы освоить базовые понятия Python, у вас уйдёт примерно 4-6 недель при условии, что вы будете тратить на изучение 2-3 часа в день.

Где можно освоить: в Skillfactory.

Библиотеки для Python

NumPy

NumPy — библиотека научных вычислений. От неё зависит почти каждый пакет Python для Data Science или Machine Learning: SciPy (Scientific Python), Matplotlib, Scikit-learn.

NumPy помогает выполнять математические и логические операции: например, в ней содержатся полезные функции для n-массивов и матриц. А ещё библиотека поддерживает многомерные массивы и высокоуровневые математические функции для работы с ними.

Зачем нужно знать математику? Почему компьютер не может сам всё посчитать?

Часто методы машинного обучения используют матрицы для хранения и обработки входных данных. Матрицы, векторные пространства и линейные уравнения — всё это линейная алгебра.

Чтобы понимать, как работают методы машинного обучения, нужно хорошо знать математику. Поэтому будет лучше пройти весь курс алгебры целиком: самостоятельно или с наставниками.

Кроме того, математика и математический анализ важны для оптимизации процессов. Зная их, проще улучшать быстроту и точность работы моделей машинного обучения.

Что важно освоить:

  • основу линейной алгебры: линейные комбинации, зависимость и независимость, векторные точки и векторное произведение, матричные преобразования, матричное умножение,
  • обратные функции;
  • массивы;
  • обработку математических выражений и статических данных;
    визуализации через Matplotlib, Seaborn или Plotly.

Где можно подтянуть знания по NumPy: официальная документация.

Где можно подтянуть знания по алгебре: Calculus (глава 11), курс по математике для Data Science.

Pandas

Pandas — библиотека с открытым исходным кодом, построенная на NumPy. Она позволяет выполнять быстрый анализ, очистку и подготовку данных. Такой своеобразный Excel для Python.
Библиотека хорошо умеет работать с данными из разных источников: листов Excel, файлов CSV, SQL, веб-страниц.

Что важно освоить:

  • чтение и запись множества различных форматов данных;
  • выбор подмножеств данных;
  • поиск и заполнение недостающих данных;
  • применение операций к независимым группам в данных;
  • преобразование данных в разные формы;
  • объединение нескольких наборов данных вместе;
  • расширенную функциональность временных рядов.

Где можно подтянуть знания по Pandas: Pydata.

Базы данных и сбор информации

Если вы уже знакомы с Python, Pandas и NumPy, можете приступать к изучению работы с базами данных и парсингу информации.

Несмотря на то, что NoSQL и Hadoop уже пустили корни в науку о данных, важно уметь писать и выполнять сложные запросы на SQL.

Часто необработанные данные — от электронных медицинских карт до истории транзакций клиентов — находятся в организованных коллекциях таблиц, которые называются реляционными базами данных. Чтобы быть хорошим специалистом по данным, нужно знать, как обрабатывать и извлекать данные из этих баз данных.

  • добавлять, удалять и извлекать данные из баз данных;
  • выполнять аналитические функции и преобразовывать структуры баз данных;
  • PostgreSQL;
  • MySQL;
  • SQL Server.

Хорошо структурированный курс по работе с SQL можно пройти здесь: SkillFactory.

Парсинг информации

  • уметь использовать методы find и find_all в парсинге страниц с помощью Beautiful Soup;
  • понять, как работает перебор элементов и сохранение переменных в Python;
  • работать с get-запросами и взаимодействовать с API.

Алгоритмы

Быть программистом без знания алгоритмов страшно, а Data Scientist’ом — опасно. Так что если вы уже освоили Python, Pandas, NumPy, SQL и API, пора учиться применять эти технологии для исследований.

Скорость работы хорошего специалиста часто зависит от трёх факторов: от поставленного вопроса, объёма данных и выбранного алгоритма.

Потому на этом этапе важно понять алгоритмы и структуры данных Беллмана-Форда, Дейкстры, двоичного поиска (и двоичные деревья как инструмент), поиска в глубину и ширину.

Машинное обучение и нейронные сети

Пора применять полученные навыки к решению реальных задач. До этого этапа важно знать математику: поиск, очистку и подготовку данных, построение моделей с точки зрения математики и статистики, их оптимизацию средствами матанализа — вот это всё.

Реальные задачи чаще всего решаются с помощью серьёзных библиотек вроде TensorFlow и Keras.

  • предобработку данных,
  • линейную и логистическую регрессию,
  • кластеризацию и обучение без учителей,
  • анализ временных рядов,
  • деревья принятия решений,
  • рекомендательные системы.

Дополнительно закрепить знания о машинном обучении можно здесь: Машинное обучение от Эндрю Ына.

Заключение

Стать экспертом в Data Science непросто: приходится изучать множество инструментов и быть гибким, чтобы вовремя узнавать о трендах.

Хорошая стратегия — получить базу по Data Science на фундаментальном курсе, а новые инструменты и технологии изучать, решая практические задачи на работе.

Программа «Машинное обучение»

Машинное обучение — один из самых востребованных разделов компьютерных наук. Именно с помощью машинного обучения сейчас удаётся строить рекомендательные системы для видео, прогнозировать спрос на тысячи товаров и автоматически обрабатывать огромные потоки писем в службу поддержки.

Основные темы курса:

  • Обучение с учителем — линейные модели, решающие деревья, композиции моделей на основе бэггинга и бустинга
  • Обучение без учителя — кластеризация и визуализация многомерных данных
  • Подготовка данных — отбор признаков, обработка категориальных и текстовых признаков

По итогам курса вы будете понимать основные постановки задач в машинном обучении, изучите основные виды моделей, будете уметь пройти путь от обработки сырых данных до построения и валидации модели.

Все темы сопровождаются практическими домашними заданиями на реальных данных.

Мы ожидаем, что слушатели владеют языком Python, который является де-факто стандартным инструментом для анализа данных: знают про условные операторы, циклы, функции, разбираются в числовых и строковых типах данных, умеют работать со списками и словарями, знают встроенные функции языка.

рублей.
Оплату можно разбить на две части.
Для студентов, выпускников и слушателей основных и дополнительных программ НИУ ВШЭ предусмотрены скидки.

Начальные требования

Законченное высшее или среднее профессиональное образование. Слушателями также могут стать студенты, получающие высшее образование.

Документы для зачисления

  1. паспорта (3-4 страница, а также страница с адресом регистрации);
  2. диплома о высшем или среднем профессиональном образовании (первые две страницы);
  3. актуальной справки из вуза (если вы являетесь студентом);
  4. свидетельства о смене фамилии (если в паспорте и дипломе фамилия не совпадает).

Расписание занятий

Ближайший старт группы в феврале 2020.

Для прохождения курса вам понадобятся основы программирования на Python и знание базовых разделов высшей математики.

Преподаватели

Окончил Московский государственный университет им. М.В. Ломоносова по специальности «Прикладная математика и информатика».

Преподаёт машинное обучение в НИУ ВШЭ, трижды получал награду «Лучший преподаватель» (в 2020, 2020 и 2020 году). Академический руководитель программы «Прикладная математика и информатика». Соавтор онлайн-курсов по анализу данных и машинному обучению на Coursera. Ведёт курсы для руководителей в Корпоративном университете Сбербанка. Занимается анализом данных более 9 лет, из них 5 лет работал в Яндексе.

Окончила Московский государственный университет им. М.В. Ломоносова по специальности «Прикладная математика и информатика».

Читает курс машинного обучения в магистратуре факультета компьютерных наук НИУ ВШЭ на совместной программе ФКН и Сбербанка «Финансовые технологии и анализ данных». Data Scientist в команде автоматической модерации Avito.

Окончил НИУ ВШЭ по специальности «Прикладная математика и информатика» и Школу анализа данных Яндекса.

Аспирант факультета компьютерных наук НИУ ВШЭ, разработчик машинного обучения в Яндекс.Такси, занимается исследовательскими и индустриальными задачами в области анализа текстов и глубинного обучения.

Как устроено обучение

Занятия проходят раз в неделю. Каждое занятие состоит из лекции и семинара. На лекции преподаватель объясняет, как работают методы машинного обучения, какие математика и алгоритмы за ними стоят. На семинаре слушатели работают с данными и решают реальные задачи с помощью Python и его библиотек. После каждого занятия выдаётся домашнее задание, которое поможет закрепить навыки.

Глобальному миру — глобальные данные: 12 курсов по data science и аналитике

Наташа Федоренко

Ученых, специализирующихся на больших данных, нередко называют новой элитой, а Harvard Business Review считает эту профессию самой сексуальной в ХХI веке. Неплохая мотивация задуматься о переквалификации, особенно если вы уже что-то понимаете в математике и программировании. T&P собрали 12 курсов по анализу больших данных — и для тех, кто только начинает осваивать профессию, и для тех, кому необходимо прокачать уже имеющиеся навыки.

Специализация Дата-сайентист

Где и когда: онлайн с 15 мая (продолжительность — 1 год)

Стоимость: 120 000 рублей

SkillFactory предлагают стать дата-сайентистом с нуля всего за год — за это время вы освоите Python, классическое машинное обучение, секреты работы с нейросетями и deep learning.

Дата-сайентист

Где и когда: онлайн с июля (продолжительность — 5 месяцев)

Стоимость: 60 000 рублей

Создание архитектуры нейросетей и предсказательных моделей, разбор алгоритмов машинного обучения и интерпретация результатов исследований — серия интенсивных вебинаров пригодится тем, кто хочет овладеть востребованной профессией дата-сайентиста.

Машинное обучение и анализ данных

Организатор: «Яндекс», МФТИ

Где и когда: онлайн в любое время (продолжительность — 8 месяцев)

Стоимость: 41 600–69 600 рублей

Курс начинается с азов — фундаментальной математики и программирования на Python. Затем преподаватели расскажут, как использовать алгоритмы для конкретных бизнес-задач, например прогнозов спроса на товар или расчетов вероятности клика по рекламе. В конце обучения студенты создадут собственный проект по анализу данных для социальных сетей, электронной коммерции и др. Для выпускников доступна программа трудоустройства.


Data Science. Уровень 1

Организатор: МГТУ им. Баумана

Где и когда: онлайн или очно в Москве с 5 мая (продолжительность — 24 ак. часа)

Стоимость: 15 990–61 200 рублей

Студенты научатся решать задачи по большим данным с помощью языка R, строить аналитические модели, оценивать их качество и визуализировать результаты в Excel. Курс подойдет тем, кто уже знаком с математической статистикой, языками SQL и R.

Hadoop.Система для обработки больших объемов данных

Организатор: Mail.Ru Group

Где и когда: онлайн в любое время (продолжительность — 29 часов)

Hadoop — одна из самых популярных систем для обработки больших данных. В этом онлайн-курсе объяснят, как ей пользоваться. Для участия очень желательно знание языков программирования.

Основы программирования на Python

Организатор: НИУ ВШЭ

Где и когда: онлайн в любое время (продолжительность — 9 недель)

Стоимость: бесплатно, сертификат — 1901 рубль

Python — один из самых популярных языков программирования, который пригодится и для анализа больших данных, и для написания программ. Курс поможет освоить язык на базовом уровне.

Специализация: Большие данные

Где и когда: онлайн в любое время (продолжительность — 8 месяцев)

Стоимость: 3213 рублей в месяц

Большая онлайн-специализация, которая будет полезна всем, кто уже работает с большими данными. На курсах расскажут об основах Hadoop, MapReduce, Spark, обработке данных в реальном времени, крупномасштабном машинном обучении и т. д.

Визуализация данных

Организатор: Гарвардский университет

Где и когда: онлайн в любое время (продолжительность — 8 недель)

Стоимость: бесплатно, сертификат — $49

Как визуализировать исследования больших данных, расскажут в 8-недельном гарвардском курсе. Студенты освоят пакет визуализации ggplot2 для языка статистического программирования R.

Наука о данных для менеджеров

Организатор: Федеральная политехническая школа Лозанны

Где и когда: Лозанна, с 3 июня (продолжительность — 5 дней)

Стоимость: 3400–4200 CHF

Пятидневная программа в Лозанне будет полезна менеджерам, которые хотят использовать большие данные для стратегического планирования в бизнесе. На курсе расскажут об основах науки о данных и популярных методах исследования в здравоохранении, машиностроении, финансах, телекоммуникациях, городском развитии и т. д.

Прикладная наука о данных

Организатор: Мичиганский университет

Где и когда: осенью, онлайн (продолжительность — 1–3 года)

Стоимость: $31 688–42 262 (больше половины студентов получат стипендию)

Магистерская онлайн-программа Мичиганского университета подойдет всем, кто всерьез задумывается о карьере дата-сайентиста. Диапазон тем — от практических навыков программирования и анализа данных до профессиональной этики. От претендентов ожидают наличие базовых знаний в области статистики и языка Python.

Сертификат IBM в области науки о данных

Где и когда: онлайн в любое время (продолжительность — 2 месяца)

Стоимость: 2557 рублей в месяц

Python, SQL, машинное обучение и визуализация — онлайн-программа повышения квалификации от IBM пригодится всем, кто хочет улучшить свои навыки работы с большими данными.

Наука данных от Microsoft

Где и когда: онлайн в любое время (продолжительность — 160–320 ак. часов)

Большая специализация по большим данным от Microsoft подойдет как тем, кто хочет освоить новую профессию, так и тем, кому необходимо улучшить конкретный навык — от сторителлинга (чтобы лучше презентовать свои исследования) до аналитики в Excel.

Наука данных для практических целей

Где и когда: онлайн, с 30 апреля (продолжительность — 3 месяца)

Сегодня большие данные необходимы почти везде — от кибербезопасности и здравоохранения до финансов и индустрии развлечений. Этот курс поможет увидеть реальные перспективы для применения своих знаний тем, кто уже освоил азы статистики и программирования.

Профессия Data Scientist: машинное обучение

Станьте специалистом по нейросетям и машинным алгоритмам, получите одну из самых востребованных профессий современности. Постройте карьеру в крупной технологической компании — у нас или за рубежом.

Цукерберг рекомендует:  День Хана Соло, или онлайн-вечеринка в стиле Звёздных Войн

Первым 20 участникам курса — скидка 20%.

  • Подходит студентам без опыта
  • Преподаватели практики
  • Реальный проект для диплома
  • Зарплата от 90 000 р. в месяц

Курс идеально подойдет

Новичкам

Освоите технологии машинного обучения, получите необходимый набор навыков, который откроет путь к построению карьеры в Data Science и Machine Learning. Вы сможете найти интересную работу и показать себя, даже если до этого никогда не программировали.

Программистам

Сможете перейти в Data Science и обеспечить себе будущее. Научитесь создавать аналитические системы и алгоритмы машинного обучения, работать с нейросетями — и получите более престижную и высокооплачиваемую работу.

Менеджерам и бизнесу

Получите структурированные прикладные знания о Data Science от практиков. Научитесь использовать данные для построения прогнозов и оптимизации бизнес-процессов и переведете компанию на новый уровень развития.

Чему вы научитесь

Новые знания и навыки можно будет сразу же применять на практике.

Научитесь программировать на Python

это самый популярный язык для работы с данными.

Сможете работать с источниками данных

CSV, XML и XLSX, JSON.

Освоите визуализацию данных

и сможете разрабатывать дашборды или интерактивную инфографику.

Опробуете разные модели машинного обучения

и откроете себе двери в новые интересные проекты.

Поработаете с машинным зрением

и сможете найти себе работу в машиностроении и робототехнике.

Напишете рекомендательную систему

для реального клиента и добавите ее себе в портфолио.

Записаться на курс скидка 20% первым студентам

Программа курса

Программа курса содержит 4 основных блокa.

Аналитика для машинного обучения

Машинное обучение. Начальный уровень

Машинное обучение. Средний уровень

Получите полную программу и индивидуальную консультацию

Преподаватели

  • Валентин Пановский преподаватель МАИ, Chief Data Scientist в Skillbox
  • Михаил Овчинников ведущий инженер-программист Badoo
  • Алла Тамбовцева преподаватель НИУ ВШЭ
  • Александр Джумурат руководитель команды разработки рекомендательной системы в ivi.ru
  • Дмитрий Коробченко Deep Learning R&D, инженер и менеджер в NVIDIA
  • Алексей Мастов Deep Learning инженер в NVIDIA
  • Лидия Храмова Team Lead Data Scientist группы бизнес-моделирования в Qiwi

Как проходит обучение

Вы выполняете домашние задания и открываете доступ к новому уникальному контенту по теме. Достаточно выделить 3–5 часов в неделю.

Изучаете
тему

В курсе — полезные видеоуроки.

Выполняете домашнее задание

В том темпе, в котором вам удобно.

Общаетесь с наставником


Закрепляете знания и исправляете ошибки.

Защищаете дипломный проект

И дополняете им свое портфолио.

Ваше резюме после обучения

Аделина Ветрова специалист по машинному обучению

Ожидаемая зарплата от 90 000

Python Язык программирования общего назначения, применяется для работы с данными.

Jupyter Notebook Командная оболочка для интерактивных вычислений.

NumPy Библиотека с открытым исходным кодом для Python.

Pandas программная библиотека на Python для обработки и анализа данных.

SQL Язык программирования для работы с реляционными БД.

Matplotlib библиотека на Python для визуализации данных 2D-графикой.

SciPy библиотека для Python с открытым исходным кодом для выполнения научных и инженерных расчётов.

Scikit-Learn библиотека машинного обучения для Python.

Keras Открытая нейросетевая библиотека, написанная на Python.

TensorFlow Открытая программная библиотека для машинного обучения от Google

Ключевые навыки:

  • Python для работы с данными
  • чтение и запись данных, работа с библиотеками;
  • визуализация данных на Matplotlib;
  • работа с нейронными сетями;
  • владение методом Q-learning;
  • написание рекомендательных систем.
  • машинное обучение: регрессия, классификация, кластеризация;

Диплом Skillbox

Подтверждает успешное прохождение курса «Профессия Data Scientist: машинное обучение»

Профессия Data Scientist: машинное обучение

Стоимость обучения

Скидка 20% первым 20

Стоимость обучения 88 500

2 950 Рассрочка без первого взноса

70 800 Для первых 20 студентов

Гарантия возврата денег в течение 14 дней

Запишитесь на курс

Дата начала: 17 ноября

Осталось: 15 мест

О Skillbox

Максимально практическое обучение от лидеров digital-рынка. Курсы от компаний, работающих на реальных проектах.

После обучения вы можете трудоустроиться в эти компании или к партнёрам университета.

студентов учатся на наших курсах

студентов довольны преподавателями

выпускников получают карьерный рост

выпускников довольны курсом и результатом

Часто задаваемые вопросы

Я никогда не программировал. У меня получится?

Курс подходит для людей, не имеющих навыков работы с данными, языками программирования или нейросетями. Наши методики и система поддержки позволят вам научиться всему с нуля.

Какой график обучения? Получится ли совмещать его с работой?

Вы можете работать с материалами курса в любое удобное время, двигаясь по программе в подходящем вам темпе. Более того, все уроки будут доступны и по окончании курса, навсегда, так что вы сможете освежить свои знания в любой нужный момент. Весь формат обучения построен таким образом, чтобы вы могли совмещать его с работой, учебой и личной жизнью.

Сколько часов в неделю мне нужно будет уделять учебе?

Вы сами выбираете нагрузку и скорость, с которой будете проходить курс. Хотите — занимайтесь два часа в неделю, хотите — шесть часов в день. Но в любом случае не забывайте отдыхать.

Я могу общаться с преподавателем?

Да, у вас будет доступ к закрытому Telegram-чату. Преподаватель будет лично комментировать домашние задания и давать полезные советы. Так вы сможете перенять уникальный опыт, профессиональные знания и лайфхаки от нашего преподавателя.

Действуют ли какие-нибудь программы рассрочки?

Да, вы можете купить курс в рассрочку — и спланировать свой бюджет, разбив всю сумму на мелкие ежемесячные платежи.

А я точно смогу трудоустроиться?

Курс дает достаточно знаний, чтобы получить позицию Data Scientist. Конечно, многое будет зависеть и от вас самих.

Записаться на курс или получить консультацию

Появились вопросы по курсу?

Оставьте ваш номер телефона, и наш специалист свяжется с вами, чтобы дать подробную информацию.

г. Москва, метро Октябрьская,
Ленинский проспект, дом 6, строение 20

Дорога в Data Science глазами новичка

Что такое Data Science?

В 21 веке информация повсюду. Вы буквально не можете жить, не оставляя вокруг себя информационный след. Зашли вы утром в ВК поставить пару лаек или купили в магазине пармезан, информация об этом сохранилась в огромных базах данных. А вдруг эта информация может быть полезна? Может быть, покупая один продукт, люди часто покупают и другой — тогда имеет смысл поставить эти полки рядом (или наоборот — в разных концах магазина). А может быть, скрытые закономерности есть в научных данных? Какие существуют наиболее эффективные алгоритмы их обработки? Можно ли, анализируя данные с фотографий или видео, научить компьютер узнавать на них объекты? Этим и многим другим может заниматься data scientist

Почему появился этот пост

Мне довелось пройти Летнюю школу по анализу данных от ТГУ (Томск). На ней я надеялся получить структурированные знания с нуля о том, что такое анализ данных и машинное обучение, базовые знания для них. Коротко говоря, оказалось, что эта школа не совсем для новичков (как бы это ни позиционировалось в рекламе). Вот, что записано в моём блокноте на самой первой лекции:

Для первого дня сложно
Плюх в океан знаний
Я утонул

К концу школы структурированных знаний я так и не получил. Спикеры были очень разные и говорили на совсем разные темы. Зато какие были спикеры! Лекции нам читали (а некоторые и вели практику) люди из Яндекс, Сколтеха, IBM и томской IT-компании Rubius. Пусть я так и не узнал базовых вещей, а блокнот исписан терминами на погуглить. Зато, я увидел отличные примеры того, как можно применять анализ данных в самых разных областях: науке, индустрии и бизнесе. Базовые знания можно получить и самостоятельно, но понять, как можно их применять получается не всегда (отсюда работники Макдоналдс с красным дипломом). Школа явно показала пробелы в знаниях, которые необходимо заполнить

Об этом и данный пост. Здесь вы найдёте пошаговый план, как его видит человек, стоящий в начале этого пути. К каждой теме, которую следует изучить, будет прилагаться ссылка на курс. План рассчитан на людей без базы. Под базой я понимаю знание высшей математики и наличие навыков программирования. Для людей, обладающих этим, могу порекомендовать эту статью и специализацию по машинному обучению на Coursera. А также, буду благодарен за совет новичку. Итак, начнём!

0. Математический анализ

Если у вас нет высшего образования, пройти этот курс нужно обязательно. За алгоритмами машинного обучения и нейронных сетей скрывается в первую очередь математика. Если вам непонятны такие слова, как определитель матрицы или частная производная, начать следует именно отсюда. Если вы понимаете эти термины (или хотя бы знаете, где про них прочитать, чтобы вспомнить), этот пункт можно пропустить

1. Математическая статистика

В анализе данных без этой дисциплины никуда. Вот список курсов, которые обеспечат вам уверенное знание предмета:

•Курс «Основы статистики» на Stepik — отлично подойдёт для начала. Есть также продолжения курса, будет полезно пройти и их

•Курс «Математическая статистика» на Stepik — поможет закрепить полученные знания с помощью достаточного количества практики

•Курс «Статистические методы в гуманитарных исследованиях» на Coursera — пусть вас не отталкивает название, курс подойдёт для всех. Преподаватель потрясающий, так что будет понятно даже гуманитариям. Главное преимущество этого курса — параллельно идёт обучение работе в программах STATISTICA и R

2. Дискретная математика

Знание этого предмета не является обязательным, пункт можно пропустить. Но всё же, вы часто будете встречать некоторые термины как, например, графы. Для уверенного обращения с ними рекомендуется изучить эту тему. Тем же, кого интересует научная сторона Data science и разработка алгоритмов — этот пункт строго обязателен

3. Программирование на Python

Python и R будут вашими основными инструментами для работы. С R вы познакомитесь в курсе статистики, здесь же изучите второй язык

4. Машинное обучение

Время переходить непосредственно к той области, которой хотите заниматься! В этом поможет классический курс от Andrew Ng (Стэнфордский университет) на Coursera. Курс на английском. Если вы его не знаете, можно поискать переводы курса, но рекомендуется начать изучать и язык

5. Получение опыта на Kaggle

Платформа для соревнований по машинному обучению поставит перед вами реальные задачи, а также позволит посмотреть на решения опытных людей. Лучшее место для начала применения своих знаний!

6. Дальнейшее обучение, собеседования

Полистайте список вакансий, подумайте, чего ещё вам не хватает и торопитесь получить работу мечты!

Больше постов про учёбу, IT и науку — в моём паблике ВК. Там же есть эта статья в более текстовом виде. Буду благодарен за советы и желаю всем удачи!

Курс «Data Science»

  • О курсе
  • Программа курса
  • Особенности

Годовой курс обучающего проекта SkillFactory по Data Science, позволяющий с нуля получить профессию специалиста по машинному обучению. Профессионалов этой области постоянно ищут ведущие корпорации страны (Mail.RU, Северсталь, Яндекс, Сбербанк, МТС, Pw и др.). Поэтому обучение Data Science – это залог вашей финансовой стабильности и благополучия.

Подготовка начинается с основ: освоения основ языка Python и классического машинного обучения и заканчивается практическим применением Data Science. Курс машинного обучения проходит на дистанционной основе, что не привязывает вас к месту и времени.

В программе онлайн-курса «Data Science»:

  • Введение в язык программирования Python.
  • Основы теории вероятности и статистического анализа.
  • Изучение базовых моделей машинного обучения.
  • Фреймворки, библиотеки и алгоритмы нейронных сетей.

  • Оценка результативности моделей на реальных бизнес-процессах.

Для старта подготовки вам не потребуется никаких специальных навыков и умений. Будет достаточно тех знаний математики, которые получены в школе. С самого начала и на протяжении всей программы вам помогает персональный куратор, а по окончанию выдается именной сертификат.

Data Science — 8 главных библиотек для Python программиста

Data science, или наука о данных, набирает все большую популярность среди самых востребованных профессий современного рынка. Специалист в этой области должен обладать глубокими разносторонними знаниями, как теоретическими, так и практическими. К услугам начинающих аналитиков данных предлагаются инструменты автоматизированного характера с уже заложенным функционалом, как, например, мощное программное обеспечение Weka. Однако, многие data scientist-ы, предпочитая широту и манёвренность действий, создают собственные инструменты и пайплайны. Язык программирования Python как нельзя лучше подходит для этих целей. Возможности Python позволяют написать программу для задач машинного обучения как с чистого листа, так и с использованием различных библиотек и инструментов. О последних мы и поговорим.

Обработка больших данных с помощью библиотек Pandas, CSV и OpenPyXL

Чаще всего в задачах для бизнеса исходные данные предоставляются в формате .xlsx или .xlsm, однако многие предпочитают формат .csv (файлы, в которых каждая строка представлена полями, разделенными каким-либо знаком — обычно запятой или точкой с запятой).

Библиотека Pandas — один из самых популярных инструментов Python для работы с данными, она поддерживает различные текстовые, бинарные и sql форматы файлов, в том числе .xlsx , .xls и .csv . Для работы с файлами Excel Pandas использует модули xlrd и xlwt.

Модуль CSV содержит утилиты для работы исключительно с csv-файлами. Однако, детали нотации создания csv-файлов в разных программах могут различаться (как, например, в Excel), и модуль CSV позволяет корректно читать большинство различных реализаций .csv без необходимости учитывать, какой программой и как был сгенерирован файл.

OpenPyXL — это библиотека для работы исключительно с Excel-файлами, такими как .xlsx, .xlsm, .xltx, .xltm для версий Excel от 2010 года и новее. OpenPyXL содержит инструменты для чтения, записи и обработки данных указанных форматов, а также для построения графиков.

Разберем на примерах базовые возможности этих инструментов. Мы будем использовать данные с портала Kaggle об участниках Олимпийских игр за 120 лет.

Какие навыки нужны специалисту по Data Science

Что нужно знать, чтобы анализировать данные — рассказывают преподаватели школы SkillFactory.

Что такое Data Science

В конце июня 2020 года Google выпустила обновление для своего сервиса «Карты». В новой версии приложение научилось предсказывать задержки в движении общественного транспорта даже тогда, когда у него нет доступа к данным текущего местоположения автобусов. Алгоритм рассчитывает время на дорогу с учётом всех факторов: пробок, расположения остановок, выделенных полос. Среди прочего для построения моделей специалисты использовали снимки из Google Street View.

Предсказание скорости движения общественного транспорта — один из примеров того, как бизнесу и пользователям помогает data science.

Наука о данных — обширная сфера, которая сочетает несколько смежных дисциплин. Это программирование, математика и статистика, бизнес-аналитика и машинное обучение.

Специалисты в этой сфере, аналитики данных, работают с большими массивами данных, извлекая из них полезную информацию. Результат даёт ответы на множество вопросов: например, почему один менеджер заключил больше сделок, сколько единиц товара нужно закупить в следующем квартале и какой компонент лекарства улучшит самочувствие пациента. Для решения некоторых задач специалисты разрабатывают алгоритмы, которые способны генерировать результат без участия человека.

По данным HeadHunter, специалисты в анализе данных в 2020 году получали в России от 130 до 300 тысяч рублей в зависимости от опыта.

Спрос на аналитиков данных увеличивается каждый год: только с 2020 года по 2020 он вырос в два раза. При этом доля вакансий для кандидатов с опытом работы меньше года на четверть выше, чем в целом по ИТ-рынку.

В чём нужно разбираться

Требования к подготовке и уровню профессиональных навыков зависят от того, в какой компании предстоит работать специалисту. Например, в крупных корпорациях аналитику данных важно разбираться в математике и статистике. Маркетплейсам и медиакомпаниям нужны эксперты в разработке рекомендательных систем, а в крупном ритейле — в разработке машинного зрения.

Преподаватели школы SkillFactory изучили вакансии в области Data Science на российском и зарубежном рынке и составили список навыков и областей знаний, которые понадобятся успешному специалисту:

Программирование

Наиболее востребованный и распространенный язык в Data Science сегодня — это Python. До него самым популярным языком был R, который продолжают использовать, например, для анализа данных, научного статистического анализа и в социологии.

Среди прочего Python хорош тем, что на его базе можно разработать практически любую библиотеку, заточенную под выполнение самых разнообразных задач. Базовый дистрибутив Python небольшой, удобен для установки и обновления. Любые дополнительные возможности можно «прикрутить» через специальные библиотеки.

У каждой библиотеки есть обширная документация, поэтому в них легко разобраться. Вокруг самых востребованных и популярных формируются сообщества, которые поддерживают библиотеку, разрабатывают для неё новые модули и функции.

Мы готовы учить людей с нулевым уровнем знаний в программировании. Специально для них мы проводим десять дополнительных вебинаров в рамках курса: пять по вводному блоку и пять по основному. Согласно нашему опросу около трети студентов никогда не программировали, столько же — программировали в школе. Остальные — это люди с каким-то опытом, но матёрых разработчиков среди них мало, чаще всего это люди, которые изучали другие языки программирования.

На курсе мы изучаем базовые алгоритмические конструкции, структуры данных, работу со строками, работу с датами и функции. Начинаем с введения в Python: изучаем кнопки, пишем программу «Hello World». Если студент будет прикладывать хотя бы 40% усилий от своего максимума и вовремя будет давать обратную связь, то изучение даже с нуля не займет много времени. На изучение базового Python понадобится от 2-3 недель до полугода, если заниматься раз в неделю.

Второй этап — знакомство с библиотекой Pandas, которая нужна для сбора, очистки и анализа данных. Это займёт от 1-2 недель если уделять занятиям целый рабочий день и иметь базовые навыки программирования. Нужно быть готовым продолжить обучение после курса: библиотека большая, в ней много функций и настроек, которые нельзя выучить сразу.

Полезные материалы для изучения Python

Pythontutor.ru — хороший бесплатный учебник на русском языке. Это базовая книга, где рассматриваются все основные структуры данных, а ещё много заданий на каждую тему.

  • CS50 на русском (Гарвардский курс по основам программирования) — первые лекции стоит посмотреть всем, кто начинает изучать программирование.
  • Pythonworld.ru — блог, где подробно объяснены основные вопросы программирования и разных методов.
  • Pythonicway.com — похож на предыдущий сайт.
  • Анализ

    Основа работы аналитика данных — работа с данными. В том числе с теми, которые можно «скормить» разработанному алгоритму.

    Вокруг огромное количество данных, современное человечество генерирует их с невероятной скоростью каждый день. Эти данные нужно уметь собирать, хранить, приводить в приемлемый для анализа или машинного обучения вид — очищать, форматировать и определять, что именно можно узнать из этих данных.

    Анализ данных тесно связан с использованием профильных библиотек для Python и с пониманием математических и статистических основ анализа данных. Важно уметь находить в них закономерности и понимать цели и задачи бизнеса.

    Математика и статистика

    Заниматься Data Science можно и без глубоких знаний в фундаментальной математике: современные библиотеки содержат огромное количество готовых решений. С их помощью можно анализировать данные и обучать алгоритмы не вдаваясь в математические подробности. Но только до первой по-настоящему сложной или нетипичной задачи.

    Разобраться с ними можно только если аналитик данных действительно понимает, как работают все строчки кода «под капотом» с точки зрения математики и статистики. Поэтому крупные компании на собеседованиях часто проверяют уровень знаний соискателя в этих областях.

    В чём нужно разбираться специалисту:

    Линейная алгебра — основы работы с векторным и матричным представлением данных.

  • Математический анализ — для оптимизации моделей и алгоритмов, понимания, где можно «докрутить» модель, чтобы она работала лучше и быстрее.
  • Теория вероятности и статистика — для многих алгоритмов машинного обучения, проведения анализа данных и адекватного проведения a/b-тестов. Помогает оценить, насколько вообще можно полагаться на имеющиеся данные, как работать с выбросами в данных, которые могут испортить всю достоверность информации.
  • Использование NumPy и других библиотек Python для вычислений и построения моделей. Для математических и статистических вычислений и преобразований уже повсеместно используют возможности Python, а для работы с машинным обучением знание этих инструментов необходимо.
  • Для изучения Data Science необходимо базовое знание школьного курса по математике. Не на уровне 80 баллов ЕГЭ — достаточно знать, что такое квадратичные уравнения и как они решаются, как умножаются скобки. Важно разбираться в технических моментах.

    На курсе по Data Science в SkillFactory изучение математики состоит из трёх блоков: основы линейной алгебры, матанализ и теория вероятности и статистика. Студентам не придётся доказывать теоремы или как-то углубляться в основы. Например, блок про матанализ — это скорее рассказ про математику, из которого становится понятно, что математики умеют сегодня и как этим можно пользоваться.

    Полезные материалы по математике

    «(Не)совершенная случайность» Леонарда Млодинова.

  • «Гарри Поттер и методы рационального мышления» Элиезера Юдковского.
  • «Голая статистика» Чарльза Уилана.
  • Серия «Образовательная манга».
  • YouTube-канал 3blue1brown.
  • Машинное обучение и глубокое обучение

    Обучение нейросетей — один из подразделов машинного обучения, в котором, в свою очередь, выделяется глубокое обучение. Сложная система терминологии связана с тем, что область развивалась десятилетиями до того, как очередные прорывы в методах сделали её по-настоящему популярной — подобласти выделялись постепенно. Сейчас, когда речь идет об обучении нейросетей, чаще всего подразумевают методы глубокого обучения.

    Машинное обучение — огромная самостоятельная область, но лишь часть науки о данных. В ней можно развиваться практически бесконечно — новые методы появляются каждый год. Если раньше Deep Learning был условно единой областью знаний, то сегодня входящие в него подобласти — компьютерное зрение, работа с естественным языком, обучение с подкреплением, генеративно-состязательные сети и другие методы, — выделяются в самостоятельные сферы специализации. Это направление растёт невероятно быстро, заставляя специалистов постоянно поддерживать свой уровень знаний, чтобы успевать за рынком.

    Путь от нуля до первых результатов в машинном обучении занимает от шести месяцев до года. С опытом в программировании — быстрее. Область машинного обучения уже получила набор инструментов, с помощью которых можно быстро создавать рабочие модели. Проблема лишь в написании обертки вокруг модели и написании той части кода, которая отвечает за предобработку данных. Поэтому специалистам нужен опыт, а опыт нарабатывается только работой.

    На курсе по Data Science в SkillFactory я отвечаю за три блока: введение в машинное обучение, предобработка данных и метрики. В первом блоке я рассказываю, что умеют делать машины, а что нет. Во втором блоке мы учимся решать проблему плохих данных или неполных данных. Третий блок учит проверять, работает ли модель машинного обучения и как её улучшить.

    Полезные материалы по машинному обучению

    Thecode.media — очень простая вводная статья для тех, кто не знаком с темой.

    Coursera.org — курс Machine Learning от Andrew Ng на Coursera.

    Книга «Создаем нейронную сеть» Тарика Рашида.

    Data Engineering

    Данные обладают структурой в аналитическом, информационном и даже физическом смысле — их нужно где-то хранить, поддерживать доступность и устойчивость, организовывать архитектуру. Например, Нью-Йоркская фондовая биржа ежедневно генерирует 1 терабайт данных о торгах за прошедшую сессию.

    Организовать работу с данными, измеряемыми в сотнях и тысячах терабайт, непросто. Для взаимодействия с ними есть свои подходы, концепции и инструменты.

    Организацией сбора, хранения и доступа к данным занимаются информационные инженеры. Аналитику данных придётся либо общаться с ними на одном языке, либо — особенно в небольших компаниях — самому выполнять функции дата инженера.

    Полезные материалы

    • Почитать немного о Big Data простым языком можно здесь.
    • Data Science from Scratch.
    • Big Data.

    Data Science в продакшн

    В конечном итоге все знания и инструменты нужны для того, чтобы применять их в интересах бизнеса. Здесь важны два навыка:

    Умение определять, какие именно инструменты нужны для решения конкретной задачи: где внедрить машинное обучение, а где построить базу данных и внедрить SQL-запросы.

  • Продуктовый взгляд на свою работу: умение общаться и налаживать контакты с коллегами, аргументировать свою точку зрения, управлять процессами в своей работе и команде.
  • Чтобы стать специалистом в data science, нужно освоить много навыков в самых разных областях. Это посильная задача: каждую сферу можно осваивать и углублять постепенно.

    Будущим аналитикам данных нужна самоорганизация и целеустремленность, чтобы освоить такой объём знаний. Придётся ориентироваться в потоках информации, не потеряться в порядке изучения, найти самые актуальные методы и принципы, а самое главное — разобраться, почему что-то работает не так, и найти достаточное поле для практики.

    Для тех, кто не боится вызовов и хочет освоить востребованную специальность, в Skillfactory разработали курс по Data Science. Он спроектирован в соответствии с запросами рынка в сотрудничестве с практиками data science из российских компаний.

    Весь материал подобран и организован так, чтобы студенты постепенно осваивали необходимые навыки и отрабатывали их на большом количестве практических заданий — на тренажёрах, аналитических кейсах, создании алгоритмов машинного обучения и в соревнованиях.

    Комплексная и продуманная программа дополняется сильным сообществом, в котором состоят студенты разных потоков, кураторы, менторы и наставники. Каждый из них выполняет свою роль: одни помогают с техническими и организационными вопросами, другие поясняют правильность выполнения учебных задач, третьи отвечают на вопросы о реалиях сферы data science, мотивируют продолжать учебу и развивают своих подопечных.

    В рамках курсах вам будет предложено решить несколько кейсов, которые основаны на реальных задачах бизнеса. Вы сможете поработать в команде с другими студентами, прокачать навыки, полученные в курсе и получить успешных проект для вашего портфолио. Эта возможность сделает вас востребованным специалистом на рынке сразу после завершения программы.

    На SkillFactory вы можете получить бесплатный двухнедельный доступ к курсу Data Science. А для тех читателей, кто захочет продолжить, есть промокод на скидку 25%: VC-25


    Анализ данных и применение машинного обучения и искусственного интеллекта

    О программе

    На сегодняшний день данные являются стратегическим активом каждой компании и необходимо уметь извлекать из них выгоду.

    Использование технологий анализа данных позволяет получить новые инсайты путем глубокого изучения исторических данных для поиска скрытых закономерностей, оптимизации существующих процессов, прогнозирования будущих событий.

    Для получения максимального эффекта от анализа данных необходимо понимать возможность решения поставленных задач на существующих данных. Именно поэтому важно знать основы машинного обучения.

    Предлагаемые ниже форматы обучения нацелены на повышение уровня квалификации в методах и технологиях машинного обучения, а также расширение практических навыков применения полученных знаний на практических кейсах.

    Форматы обучения по Data Analytics

    Олег Данильченко
    Директор,
    руководитель центра компетенции по прикладному анализу данных

    Олег имеет более 10 лет опыта работы в сфере разработки аналитических приложений и архитектуры. Глубокие знания в области аналитики и машинного обучения позволяют ему успешно решать реальные сложные бизнес задачи. Компетенции и профессиональные интересы:
    — Решения по работе с большими данными;
    — Гео-аналитика;
    — Кредитные риски;
    — Клиентская аналитика;
    — Прогнозное моделирование;
    — Управление эффективностью банков.

    Анатолий Поляков
    Старший менеджер,
    центр компетенции по прикладному анализу данных

    Анатолий имеет более 7 лет опыта работы в сфере ИТ. Он всегда ищет подходящие решения, которые работают, повышают ценность и дают представление клиентам, чтобы работа команды была долговременной и принесла положительные изменения для бизнеса клиентов.
    Компетенции и профессиональные интересы:
    — Машинное обучение;
    — Оптимизационные задачи;
    — Бизнес-аналитика (BI);
    — Управление ИТ-проектами.

    Записался на обучение по Data Science.

    Обычно человек ходит по колее, но иногда система сбоит и случаются «эмм, а чё я раньше не задумывался, что можно…» и «хм, а ведь можно попробовать сделать…». В такие моменты можно выскакивать за пределы колеи и переходить в новую более интересную, выходить из зоны болотного комфорта в зону воодушевляющего дискомфорта.

    Всегда ходил по колее (вернее, замкнутому циклу): математика не моё, у меня много своих преимуществ, математик не в их числе, не всем дано. И к нему прицеплялось: машинное обучение, нейронные сети, статистика и тер.вер. требуют математики – ну, значит, тоже не мое, ну значит без этого. А тут че-то осенило: а какого хрена!? Кстати, тот случай когда реклама сподвигла (назойливая реклама курсов обучения по Data Science). Сначала отмахивался, а в какой-то момент подумал: а почему бы и нет? – Да, страшно, да лень, да не уверен, что получится, да долго, да нет уверенности, что поможет и т.д. Хорошо подумал, уверенным движением руки смахнул все эти иррациональные возражения и страхи со стола и записался на курс.

    Так что скоро, надеюсь, например, не буду просто пролистывать посты уважаемого А.Г., а, возможно, буду извлекать смысл.

    Кстати, уже только при прочтении программы курса словил пару инсайтов применительно к фин. рынкам.

    Глаза загорелись. Будет интересно.

    • спецраздел:
    • торговые роботы
    • Ключевые слова:
    • алгоритмическая торговля,
    • data science,
    • ML

    dan◦fox, выбирал между:

    — Школа анализа данных от Яндекса.

    — Курс от Нетологии.

    — Курс от SkillFactory.

    — Курс от GeekUniversity.

    Если интересно, на каком остановился — спросите в личку. А то напишешь — как обычно начнется: не то ты выбрал, надо было вот это))).

    — уровень скиллов на входе — по этому критерию сразу отвалился Яндекс, потому что там уже на входе нужно очень хороший уровень показать. И ещё один отвалился.

    — а дальше — ну программа, преподы, формат, цена, рассрочка по цене, общие неформализуемые впечатления.

    Ну ладно, короче выбрал GeekUniversity от Мэйл.ру.

    K., Ну и изначально выбирал хорошее — чтоб уже была серьезная фирма и курс масштабный, чтоб было все — хорошая математика, хороший дата-саенс и прочий машин-ленинг, много практики. Формат чтоб был эффективный — тут тебе и менторы и обратная связь и проекты практические на реальных кейсах и данных. Да и трудоустройство просто так на пустом месте не гарантируют.

    Replikant_mih, в первую очередь — качеством подачи материала.
    Я видел в пиратских копиях все четыре упомянутых вами, только ШАД показался адекватным.

    Replikant_mih, некоторых лекторов нельзя допускать к публичным выступлениям — неоправданные паузы в предложениях, невнятная речь, «пык-мык» в просторечии. Короче говоря, не владеют риторикой. Т.е. как специалисты они может и неплохие (и может очень даже крутые), но как ораторы — нули. Я — сам айтишник с довольно существенным опытом и запросто могу идти читать курсы по ряду прикладных дисциплин. Но увы, обделён ораторскими талантами. Поэтому не читаю никаких публичных лекций.

    Replikant_mih, ну проблемы с качеством подачи материала — это не только эстетическая претензия.
    А так, можно и на kaggle поучиться — https://www.kaggle.com/learn/overview

    Кстати, уже только при прочтении программы курса словил пару инсайтов применительно к фин. рынкам.

    большие данные это мирные данные

    big data is peace data

    Replikant_mih, смотрю вы тут самый профи.

    В двух словах можете объяснить что такое Data Sceince и чем это всё отличается от обычного высшего образования, включающего:

    а) Мат. стат. + моделирование + верификация+валидация
    б) Мат. анализ + численные методы

    Что нового? После KNN, SVM, AR (Arima и т.д.), нейронных сетей, деревьев, графов?

    SergeyJu, что поделать Сергей Юрич, за смарт-лабом не успеть, увы.)) попробую поищу топик — попрактикуюсь в DS, так сказать.

    З.ы. и да, сегодня кто чего только к трейдингу не прикрутит (это не в адрес Афтара, сразу оговорюсь).
    тоже надо пойти по-прикручивать, по америке спот-кривую дождусь на клоз и летс гоу.

    Cristopher Robin, Если бы у меня не было внутреннего стержня и внутреннего компаса — наверно бы даже расстроился от вашего сообщения)).

    Во-первых, тут с условного нуля стартуют.

    Во-вторых, я не рвусь в олимпийские чемпионы)).

    В-третьих, видел много людей, с отличным бэкграундом, но скучно его использующих — никакого креатива, никакой смелости, никакой экспрессии, не производят новые знания, в то время как я могу и без мат. подготовки феерить)). А уж с ещё одним инструментом (вернее, букетом инструментов) будет ещё интересней.

    Я тоже начал учиться. Тем более что полно бесплатных курсов.
    Забавно но седой и строгий PhD заявляет что там больше data чем science.
    И что главное это любопытство.

    Но хотя бы весь доступный инструментарий стоит поизучать чтобы не тратить время на изобретение велосипедов.
    Хотя мне кажется что если бы всё было так просто — прикрутил ИИ и стал колбасить только в плюс, то давно или бы фонды такие появились которые скупили весь мир, или вообще все биржи прекратили существование.
    Но может эта мысль и не верна. В шахматы-то всё равно люди играют друг с другом, хотя компьютеры уже играют лучше.
    А мы на бирже уже непонятно с кем соревнуемся. Не то с людьми, не то с компьютерами..
    Вобщем, сам не знаю что сказать хотел. Удачи, держи в курсе.
    Хотелось бы мне лично накопать что-то на тему ИИ и money/risk management в применении к фьючерсам.

    ПBМ, >>«Удачи, держи в курсе.»

    Все, конечно, не просто. Это точно не магическая пилюля. Просто ещё один инструмент, но с большим потенциалом. И, думаю, его надо применять не в лоб — не тупо прогнозировать временной ряд на основе исторических данных, а что-то поинтересней, есть уже несколько задумок).

    скажите, я так понимаю, обучение у вас онлайн. ногами даже раз в месяц никуда ходить не нада?

    я в данный момент обучаюсь. Параллельно учусь по книгам. Могу сказать, что это намного, НАМНОГО сложнее чем кажется поначалу.

    Дело в том, что надо очень неплохо натаскивать математику, причем из разных областей. С самого начала Вы должны знать такие вещи как обратная матрица и т.д., в противном случае будут смущать и вводить в ступор какие-нибудь формулы функций-издержек сводящие значение к минимуму. Поставить гиперпараметры на решетчатом поиске не понимая их смысл — это обезьяна с гранатой.

    В общем DS это больше математика/статистика, чем программирование. Хотя и последнее надо знать хорошо. Так что будьте готовы.

    WRK, А вы где учитесь?

    В моем курсе обещают, что в самом курсе дают то что нужно для непосредственно ML и прочего DS. Программу читал — там есть и про матрицы и прочее — несколько разделов математики будем затрагивать. Ну и надо думать, что сначала математику затрагивать, а потом темы где она уже должна быть у тебя затронута)).

    Про «НАМНОГО сложнее» — я догадываюсь)), хотя гоню эту мысль)), вернее игнорировал её когда принимал решение, а дальше в омут с головой)).

    И как у вас с математикой проходит? — Или у вас на входе был неплохой уровень? Как вообще в целом продвигается? — уже что-то можете практическое? — Энтузиазм сохраняется?

    Replikant_mih, учусь на одних из курсах (не хочу делать рекламу), их кстати большее количество, чем указано у Вас.

    Уровень математики входной у меня был низкий, но тк знал основы эконометрики не могу сказать, что начал с нуля. Я как в студенческие годы брал и решал матрицы, пределы, выписывал и разбирался в нюансах стат.анализа и теории вероятности — на это уходит много времени, и это не настолько весело. По общению с куратором — дадут основы, но вы ведь сами понимаете, что за неск месяцев дотянуть до норм уровня почти невозможно, и настолько углубляться вы там с группой не будете. Хотя это лучше, чем ничего.

    Что желательно знать — дано в темах к вступительным в ШАДе. + статистика. Понимание смысла (и нахождение) какой-нибудь частной производной и прочих азов должно быть очень ясным.

    Повторюсь, можете делать расчеты и без знаний — но когда откроете документацию и уведите с десяток гиперпараметров, вот тут можно сесть в лужу — не понимая геометрически, к чему будет приводить изменение степени полинома, или же настройка альфы при регуляризации, а ведь в тех же регуляризациях по логистической — параметры инверсированные альфе, кот.будут делать с точностью наоборот.

    WRK, >>«к чему будет приводить изменение степени полинома, или же настройка альфы при регуляризации, а ведь в тех же регуляризациях по логистической — параметры инверсированные альфе».

    Может, я зря вообще все это затеял)))))

    У меня в ВУЗе высшая математика прошла скорее мимо меня, а вот тер. вер. нравился, поэтому все получалось. Но если сейчас сделать срез, то я не отличу логарифм от производной, а первообразной от синуса)). Но обещают все прокачать, но конечно понимаю, что многое надо будет вытягивать и самому.

    Так как в целом — уже что-то можете практическое делать?

    Я правильно понимаю, что знать математику надо не для того чтобы реализовать ML (потому что с современными библиотеками это можно делать и без этого), а для того чтобы с пониманием играться настройками?

    Replikant_mih, понимаешь, тут такой нюанс — мне нравится в это вникать — банально вдохновляет. К примеру, заниматься хардкорным программированием в духе java / kotlin или каким-нибудь веб’ом я бы не стал — сколь бы хайповой или перспективной эта сфера не казалась.

    Если не попробовал заранее, не посмотрел те же вводные уроки Эндрю Ына а повелся на DS/ML моду, либо решил заниматься ХОТЬ ЧЕМ ТО — то зря. Если же душа лежит в анализу, не жаль тратить на это свободное время и деньги, разбираться — когда кипит мозг, а также пытал бесплатные курсы от курсеры, степика до ODS — и потом решил серьезно заниматься — то на мой взгляд можно и уйти в эту сферу.

    Да дело не в настройках, сами методы обучения — это и есть сплошь математика со статистикой. По хорошему ты должен знать и понимать как сделать нормализацию не через готовую библиотеку, а «руками». Поверь, я бы сам хотел, чтобы было все легче и не так — но увы.

    Моя цель в платных курсах была банальна-чтобы иметь общение с народом, а также то, что платные курсы ты хочешь / не хочешь будешь проходить. Но перед этим я вникал на бесплатных, потом взял тайм-аут подумать на «холодную» голову, и только после этого принял решение. Уже на одну литературу немало денег ушло.

    Практическое обучение делал разумеется, писал даже легкую нейронку на основе numpy, но в кэгле до сих пор не принимал участия, надеюсь уже скоро дойду.

    Тоже изучил детально эту рекламу и ощущение надо сказать, двойственное!

    В свое время я имел честь закончил факультет, который тогда (да и сейчас тоже!) является лучшим в теме на всем пространстве Земли от островов Гавайи вплоть до пролива Ла-Манш. Среди прочих, у нас была так называемая «базовая кафедра» Искусственного Интеллекта (возглавлял академик Поспелов). Смею вас заверить, это было одно из немногих мест в СССР, где эти 2 слова вот так в явном, печатном виде упоминались.

    И вот прошли годы, и «каждый встречный и поперечный» об этом толкует на улице. Казалось бы — каждый наш выпускник должен быть буквально на вес золота — ведь те, кто поставили на ту лошадку даже в 1998 году (купили СБЕР на все), сейчас выиграли ТЫСЯЧЕКРАТНО. В этой аналогии я поставил на ту лошадку еще на 10 лет раньше, в 1988 г.

    Ан нет! Забыты старые авторитеты, появились молодые, борзые, нахрапистые — на вроде Яндекса. Которые непрерывно талдычат о том, какие они гении — чуть ли не единственная интеллектуальная компания во всей России, а самое главное — какие убогие все остальные в стране — плебеи, прожирающие нефтяную ренту, ну, чуть ли ни австралопитеки!

    И вот те на — вдруг эти «гении» снизошли до нас, убогих, чтобы за круглую сумму нести нам светоч знаний .

    Так вот, скажу, что впечатление первое такое: звучит все КРАЙНЕ ПОДОЗРИТЕЛЬНО! По-моему, просто люди хотят поднять непыльного бабла на хайповой теме.

    Манул Кот, Вы про яндексовскую Школу анализа даных или про любое обучение по этой теме?)

    Для высокотехнологичных компаний это один из каналов пополнения своих кадровых потребностей. Ну + это просто бизнес для них. Они получают деньги, люди востребованные знания.

    В тех курсах, которые выбрал я, почитал подробную программу — разнообразие тем богатое, затрагиваются разные пласты и уровни, мне все понравилось на входе. Будем работать).

    По поводу описанной вами кафедры — ну это область стремительная, если начать с хорошей базы и активно двигаться, то база конечно же большое преимущество, а если не двигаться, то быстро отстанешь от острия прогресса.

    Вот цитата из их курса:

    Курс по математике для Data Science, 8 модулей, 2 месяца

    • Линейная алгебра
    • Матанализ и методы оптимизации
    • Основы статистики и теории вероятности
    • Применение в машинном обучении и нейронных сетях

    Давайте я разберу вам, как настоящий инсайдер, всего 1 пункт. Самое легкое, полезное и базовое тут — это линейная алгебра. Что это на пальцах? Грубо говоря, область математики, которая вас учит работать с векторами, матрицами, N-мерными пространствами, тензорами и т.д.

    Помните из вуза такие слова, как «детерминант», системы линейных уравнений, правило Крамера, метод Гаусса? Вот всё это относится к лин. алгебре.

    Тут надо подчеркнуть, что линейная алгебра — это, по сути, ликбез, я лично ее особо сложной не назову. В то же время, я далек от того, что бы пытаться вот так, с ходу, преподавать ее первому встречному, человеку с улицы. Точнее преподавать можно, но вероятность успеха — ниже 4%.

    Поэтому могу дать такой совет — найдите реальную, бумажную книгу по ней (если сможете) или скачайте что-нибудь, на крайняк. Почитайте, полистайте прежде, чем платить господам из Яндекса деньги, попытайтесь понять — это вообще ваше или нет?

    Конкретно, у нас базовым учебником по ней был Курс аналитической геометрии и линейной алгебры, Беклемишев Д.В. Также помню был какой-то гроссбух по матрицам Гантмахера.

    В общем, поройтесь в инете, ищущий — да обрящет.

    И помните — настоящая наука имеет очень отдаленное отношение к биржевой игре.

    Манул Кот, Я не к Яндексу иду), у них на входе нужна хорошая математика, у меня нет. Мож потом и к ним запишусь когда уже подниму уровень.

    Понятно, что книг и прочего открытого материала много, но для прокрастинатора это равнозначно, что ничего нет).

    Replikant_mih, я не про Яндекс, я про вот это: https://skillfactory.ru/data-scientist.

    Я на это объявление напоролся вчера, и, думаю, Вы — тоже.

    Там из 4 заявленных преподавателей — 2 из Яндекса, поэтому я и сказал про них.

    Яндекс — это сомнительная, псевдонаучная контора и у меня есть факты на руках, чтобы доказать это.

    Replikant_mih, я понял (ДОШЛО, наконец!!), вы будете проходить тот курс, который от mail.ru. Просто я проскочил этот момент и сразу бросился мочить skillfactory.

    В любом случае, дискуссия была полезной — для меня прежде всего тем, что люди дали ссылки на некоторые бесплатные ресурсы. Я их взглянул и уже накопал кое-что интересное.

    Насчет платного обучения — я в него не особо верю, возможно потому, что сам учился всегда бесплатно (не считая биржевых потерь, разумеется!!) — наследие советской системы. Точнее, так: знания платное обучение может дать отличные, а вот бумажка, сертификат — от нее мне толку ноль, так как в России и зарплаты низкие, да к тому же еще и по возрасту зарежут.

    Другое дело — если кто молодой, да в модных очках, да умеет на голубом глазу вести умные речи — тот закончит такие курсы и пойдет по конторам продавать себя подороже — это да, такой подход очень даже работает!

    Что касается применимости тем ML/ИИ к извлечению альфы из рынка посредством трейдинга — ну, тут я скажу навскидку, релевантность не больше 10%. Тем более в частном трейдинге — то есть с малым депо.

    Манул Кот, >>«Просто я проскочил этот момент и сразу бросился мочить skillfactory.»

    По поводу платного образования — поговаривают, что когда оно платное ученики ответственней подходят к делу — хотя может, эту легенду придумали околорыночники в ответ на традиционный вопрос: если ты такой хороший трейдер зачем деньги тебе с обучаемых).

    По поводу альфы — пока не могу прокомментировать, в лоб, думаю, толку от ML сложно добиться, а вот как-нибудь если по-хитрому прикрутить, то, наверное, толк может быть. Там помимо самого ML много всяких полезных скиллов и навыков обещаются).

    Боюсь, что без классической схемы — экзекуции = зачет, экзамен, пересдача. забыл. Получить знания от альма матери не выйдет :)

    А давайте образ мышления поменяем, лет так в 30,40,50. и передадим знание человеку — Что такое число?
    Был гуманитарный, стал математический.

    Нет, всё надо делать вовремя.

    Jkrsss, Ну, я никогда не был гуманитарием), по образованию экономист — это где-то на границе). А давно работаю в аналитике, в IT, в финансах — это не сильно гуманитарно, так что с образом мышления все хорошо, IT бэкграунд неплохой имеется.

    По поводу зачет-экзамен — по мне так это вообще противоестественное, когда у тебя мотивация сдать экзамен, а не получить знания и навыки, у меня как раз сейчас сильная мотивация получить знания.

    А про 30, 40, 50 — это скорее про отговорки для того чтобы не выходить из зоны комфорта.

    Jkrsss, ну если ты о математике — то тут она не должна быть на уровне 5 курса метмаха уж точно. И та же мат-ка не является чем то недостижимым — основы матана и линейной — доступны любому (ну почти). Ты не забывай, что в инсте часто надо вызубрить, сдать, переплюнуть и забыть. Когда ты занимаешься для своих целей, осознаешь необходимость изучить, а также повторяешь это в прикладных задачах из раза в раз — понимание совершенно другого уровня.

    Самое практичное, что методы анализа данных — это не какая то оторванная дисциплина в вакууме, её можно применять в совершенно различных сферах, специальностях и секторах. И никакого искусственного интеллекта тут — конечно же нет.

    WRK, Ага, уровень техникума советского с математическим уклоном. Методы анализа. Будет все как в прежние времена, расчетчиков(специалистов по Data Science. ) человек 300-400 на заводе(хедж фонде), а считать умеют только два.

    Один из методов анализа подсказывает мне что на другой стороне бот.

    Объявы по Data Science лезут изо всех щелей. По ходу, имеет место быть эффект чистильщика обуви: когда на Data Science можно было поднять реальных денег, об этом никто особо не знал, а когда все легкое и сладкое уже давно заработано, об этом стали говорить на каждом углу.

    Вывод: можно изучать, но строго бесплатно и строго сообразуясь с полезностью, которую можно будет извлечь из этих знаний.

    так вы за долгое платное онлайн обучение засели? тогда я вас не правильно понял. удачи, что.

    я лично прошел несколько базовых бесплатных курсов и туториалов, чтобы понять что такое jupyter notebook, gbm и lgbm (всего одна буква разницы от lgbt и то искуственная разница, т.к. t = tree) и уже чувствую себя хорошо.
    по крайней мере решился вопрос с пониманием того, какими методами сеть чего-то там решает. а то несколько лет пользовался многослойным перцептроном (в сочетании с некоторым новыми методиками учится хорошо и сравнительно быстро) — а понимания что внутри перцептрона происходит не было. просто чёрный ящик.

    в курсе по методологии утверждается, что всё-таки понимание предметной области это очень важно. всё-таки брут-форс не так эффективен как направленный брут-форс.

    построил свою модель решающих пеньков, запустил, пока результат отрицательный (как и без них было)

    а вот толком lgbm пока не разобрался.

    ещё не понял такую штуку: допустим перцептрон может строить модели по нескольким фичам, как функцию от них.
    а решающее дерево, классификатор, как я понял, такого не может.
    поэтому высоко скоррелированные фичи для перцептрона норм, а для деревьев похоже — только мешают. и вот я не понял, как же можно и деревья применять и работать со скоррелированными данными.

    наверное это следующий шаг — построение архитектур сетей из перцептронов и деревьев.
    т.е. тренируем несколько деревьев на несколько наборов нескоррелированных фич,
    тренируем несколько перцептронов на моделирование ещё более высокоуровневых фич
    и результат снова пропускаем через дерево решений. это видимо и есть дип лёрнинг.

    как вариант — обучить перцептрон с 3-4 слоями чтоб на выходе было только да или нет, а потом последний слой с 1 нейроном отрезать и вляпать вместо него дерево.

    Цукерберг рекомендует:  Как запустить какой-либо проект
    Понравилась статья? Поделиться с друзьями:
    Все языки программирования для начинающих
    Поставьте оценку