Архив автора

Datacamp: 2 курс, теория вероятностей

07.11.2019

Дорогие любители вероятностей и ожиданий!

В рамках домашнего задания по теории вероятностей необходимо будет пройти  миникурсы на платформе datacamp.com.

Первый курс, дедлайн 24 ноября в 21:00, Introduction to python for datascience

Второй курс, дедлайн 8 декабря в 21:00, Statistical Thinking in python (part 1)

Примечания:

Некоторые провайдеры могут ошибочно блокировать datacamp, в этом случае можно проходить курс из вышки, разбираться с провайдером, сменить провайдера или использовать vpn.

Если у Вас есть вопросы, то пишите на dark.metrics@gmail.com .

В случае, если у Вас проблемы с доступом, прежде чем писать на почту, пожалуйста, убедитесь что выполнено одно из двух условий:

  1. Ваш адрес почты есть в списке, присланном Вашей старостой,  она зарегистрирована на datacamp до 1.11.19.
  2. Ваш зарегистрированный адрес почты есть в доп. списке,  и он внесен туда до  17.11.19 20.00.

Краткий экскурс в историю машинного обучения

22.01.2018

Артур Сэмюэл

В 1959 году Артур Самуэль (Arthur Samuel), исследователь в области искусственного интеллекта и изобретатель первой самообучающейся компьютерной программы игры в шашки, ввел термин «машинное обучение» и определил его как процесс, в результате которого компьютеры способны показать поведение, которое в них не было явно запрограммировано.
Машинное обучение — это подкласс искусственного интеллекта: помимо него, туда входит и робототехника, и много всего другого. Само машинное обучение включает различные методы, в частности, работу с нейронными сетями, которые сейчас так популярны. И один из подклассов обучения нейронных сетей — это deep learning (глубокое обучение).

История развития машинного обучения

1936 AT&T Bell Labs создает синтезатор речи.

1946 Представлен общественности компьютер ЭНИАК — сверхсекретный проект армии США.

(more…)

Визуализации и игры :)

05.01.2018

Каникулы – самое подходящее время, чтобы узнать что-то новое или вспомнить старое. Но для этого необязательно открывать книги и тетради, можно просто побродить по интересным сайтам!

  • Explained Visually – это отличные визуализации по связанным с математикой темам. Например, в разделе про нейронные сети можно посмотреть, как происходит свёртка изображений при различных ядрах.
  • Парадоксы в теории вероятностей бывает сложно осознать, но благодаря визуализациям понять, что будет, если в парадоксе Монти Холла игрок выбирает одну из 20 дверей, и как устроен парадокс Симпсона, гораздо легче!
  • Если понимать ничего не хочется, то можно посмотреть, как коррелируют самые неожиданные явления. А когда глаз уже намётан, попробовать угадать значение коэффициента корреляции по графику.
  • Удивиться тому, сколько распределений существует и как они между собой связаны, можно на этом не самом красивом, но, пожалуй, самом информативном сайте!
  • Для интересующихся эконометрикой  – введение в многоуровневые регрессионные модели.
  • А по теории игр есть замечательный квест!
  • И напоследок – самые неожиданные объяснения работы алгоритмов сортировки: на цветных анимациях, с помощью звуков и танцев 🙂

04.12.2017

Все, кто интересуется Machine Learning, рано или поздно сталкиваются с различными реализациями градиентного бустинга на деревьях решений вне стандартной библиотеки sklearn. Хорошо известны реализации LightGBM и XGBoost, а недавно в это семейство добавился алгоритм от Яндекса — CatBoost.

Что такое CatBoost?
CatBoost — алгоритм машинного обучения, основанный на градиентном бустинге. Основная задача — работать с категориальным данными напрямую, особенно теми, которые трудно представить в виде чисел (категории товаров)

Зачем использовать CatBoost? (more…)

Типичные регрессионные ошибки

27.11.2017

Знаете ли Вы, что недостаточно осмысленное использование регрессий может повлечь за собой смерть сотен тысяч людей? Думаете, можно и мартышку научить строить регрессии в Excel или Stata и тп? Научить-то можно, но что из этого выйдет…

(more…)

Как быть в курсе современных технологий и учиться машинному обучению ¯\_(ツ)_/¯

12.11.2017

Если вокруг постоянно говорят про машинное обучение и другие непонятные вещи, а спрашивать у друзей, что это и как это работает, стыдно, то есть много возможностей узнать обо всем офлайн!

Вот лекции, которые еще можно успеть послушать и которые будут очень полезны:
22.11.2017 «Интернет вещей: промышленный, профессиональный, наш» от Алексея Ролича
29.11.2017 «Машинное обучение, автоматизация и новые профессии» от Евгения Соколова
06.12.2017 «Машинное обучение как услуга для бизнеса» от Александра Белугина
20.12.2017 «Современные применения глубинных нейронных сетей» от Андрея Зимовнова

Также Яндекс регулярно проводит образовательные мероприятия: тренировки по машинному обучению, митапы , для любителей data science и python и научно-технические семинары

Проверить, стали ли вы разбираться в машинном обучении, можно здесь .

Снимок экрана 2017-11-08 в 19.14.31

Совмещаем приятное с полезным: Telegram каналы для умных с:

08.11.2017

Канал «Datascience & Machine Learning» сайта и крупнейшего сообщества по анализу данных kdnuggets.com.

Канал о Data Science (с аналогичным названием), в котором автор публикует ссылки на кучу нестандартных и безумно интересных статей.

Крутой канал «DeepLearning.ru» на русском с ссылками на разные учебники, мероприятия и онлайн-курсы.

Русскоязычный канал «Machine Learning World» про ML и его самые неожиданные применения.

Подборка чатов и каналов по проге (про разные языки программирования, для разных платформ, целей и нужд)

Десерт: пакет в R для создания Telegram ботов с:

Использование R в финансах и не только!

28.10.2017

В который раз убеждаемся, что R всемогущ 🙂

Для людей, занимающимися прикладными финансам есть куча полезных библиотек, например:

  • RQuantLib — используется для нахождения цен опционов и анализа кривой доходности
  • Rmetrics — позволяет моделировать волатильность временных рядов, находить VaR и цены деривативов и опционов
  • PortfolioAnalytics — поможет решить оптимизационную портфельную задачу

Но и для тех, кто финансами не интересуется, есть хорошие новости! Несколько дней назад была создана специальная библиотека для R – meme, которая позволяет быстро рисовать смешные картинки!

Рисуют все!

14.10.2017

Сенсация!

Чтобы нарисовать график с розовыми пузыриками разного размера на фоне зелёного цвета с синими полосками, больше не нужно проводить часы в недрах документации matplotlib и ggplot2 🙂

Оказывается, существует сайт, где собраны коды  на  Python и R для всех мыслимых и немыслимых картинок.

Карты, анимации, графы, коррелограмы… – всё в одном месте!

Почему распределение доходности считается нормальным? Статистика в финансах.

10.10.2017

Одной из основных предпосылок в финансовой экономике является предположение о том, что доходности финансовых активов имеют нормальное распределение. Данное предположение существенно упрощает проблему выбора портфеля для инвестирования, так как позволяет сравнивать альтернативные портфели всего по двум критериям: стандартное отклонение и математическое ожидание. Подтверждение данной гипотезы очень важно для инвесторов (которые определяют риски вложения средств в портфели на основе распределения доходностей), а также финансовых экономистов (которые рассматривают распределение в качестве косвенной информации об экономических факторах, влияющих на доходности).

Однако подчиняются ли доходности финансовых активов нормальному распределению? «Отец финансов», Нобелевский лауреат Юджин Фама в своем дипломе показал, что распределение доходностей акций имеет толстые хвосты (Fama, “The behavior of stock market prices”, 1965b). Для инвесторов данная информация усложняет процесс определения риска вложения средств, ведь два портфеля могут иметь одинаковую доходность и стандартное отклонение, однако, вероятность отклонения от среднего у одного портфеля может быть выше. Для экономистов это означает, что экономические факторы, вызывающие доходность ценных бумаг, сами подвержены частым и внезапным потрясениям.

Здесь у читателя возникает логичный вопрос: а зачем тогда финансовые экономисты до сих пор используют предпосылку о нормальности распределения доходностей? (more…)