Авторегрессионные модели скользящего среднего ARMA (p, q) для анализа временных рядов - часть 2

В части 1 мы рассмотрели модель авторегрессии порядка p, также известную как модель AR(p). Мы ввели ее как расширение модели случайного блуждания в попытке объяснить дополнительную серийную корреляцию в финансовых временных рядах.

В конце концов мы поняли, что она не была достаточно гибкой, чтобы полностью учесть автокорреляцию цен закрытия Amazon Inc. (AMZN) и индекса акций США S&P500. Основная причина этого заключается в том, что оба этих актива условно гетероскедастичны, что означает, что они нестационарны и имеют периоды «переменной дисперсии» или кластеризации волатильности, что не учитывается моделью AR(p).

Стационарность и память на финансовых рынках

Стационарность и предсказуемость временных рядов, частным случаем которых является память временных рядов, являются фундаментальными понятиями для количественного инвестиционного анализа. Однако это часто неправильно понимают как практики, так и исследователи, о чем свидетельствует глава 5 недавней книги «Advances in Financial Machine Learning». Я имел удовольствие разъяснить эти заблуждения некоторым участниками конференции The Rise Of Machine Learning in Asset Management в Йельском университете после конференции, но я пришел к выводу, что проблема настолько распространена, что заслуживает публичного обсуждения.

Использование индекса фрактальной размерности для прогнозирования рыночных максимумов и минимумов

Рынки фрактальны по своей природе, то есть, они обладают определенными свойствами, такими как самоподобие, что позволяет моделировать их с использованием инструментов из этой области. Конечно, легче сказать, чем сделать. В этой статье мы попытаемся разработать индекс фрактальной размерности на основе функции экспоненты Херста, чтобы увидеть, как мы можем предсказать, когда рыночные тенденции вот-вот изменятся. Прежде чем перейти к индексу фрактальной размерности, мы начнем с введения и кодирования экспоненты Херста.

Временные ряды для начинающих. Часть 3. Прогнозирование

Первая часть
Вторая часть

Теперь, когда мы рассмотрели основы анализа временных рядов, мы наконец можем погрузиться в прогнозирование!

3.1 Что такое прогнозирование?

Прогнозирование - это просто процесс использования прошлых значений данных для обоснованного прогнозирования будущих значений данных. Как было сказано в предыдущей главе, если вы хотите делать хорошо обоснованные прогнозы, временные ряды должны быть стационарными. Это может быть сделано путем подбора модели arima с помощью функции auto.plot() в пакете forecast. Затем все, что вам нужно сделать, это применить функцию forecast(), чтобы получить прогноз! Функция forecast() может принимать другой аргумент вместе с вашей моделью. Вы также можете ввести h, желаемое количество прогнозируемых периодов времени. Эта функция очень удобна для анализа временных рядов в реальном мире.

Временные ряды: зачем нам нужны стационарность и эргодичность

Временной ряд - это ряд точек данных, индексированных по времени, обычно с равными временными интервалами. Примерами временных рядов являются цены на акции, ежемесячная доходность, продажи компании и т. д. Временные ряды можно рассматривать как данные с целевой переменной (цена, доходность, объем продаж…) и только одной характеристикой: временем. Действительно, идея временных рядов заключается в том, что мы можем экстраполировать интересную информацию, анализируя поведение данной переменной во времени. Тогда, если появятся соответствующие выводы, в идеале будет возможно предсказать движение нашей переменной в будущем.

Авторегрессионные модели скользящего среднего ARMA (p, q) для анализа временных рядов. Часть 1.

В прошлой статье мы рассмотрели случайные блуждания и белый шум как базовые модели временных рядов для определенных финансовых инструментов, таких как ежедневные цены на акции и индексы акций. Мы обнаружили, что в некоторых случаях модели случайного блуждания было недостаточно для отражения полного автокорреляционного поведения инструмента, что мотивирует применение более сложных моделей.

В следующих парах статей мы собираемся обсудить три типа моделей, а именно модель авторегрессии (AR) порядка p, модель скользящего среднего (MA) порядка q и модель смешанного автогрессивного скользящего среднего (ARMA) порядка p, q. Эти модели помогут нам попытаться уловить или «объяснить» больше серийной корреляции, присутствующей в инструменте. В конечном итоге они предоставят нам средство прогнозирования будущих цен.

Введение в прогнозирование временных рядов с помощью torch

Этот пост представляет собой введение в прогнозирование временных рядов с помощью torch. Центральными темами являются ввод данных и практическое использование RNN (GRU/LSTM). Следующие публикации будут основаны на этой и представят все более сложные архитектуры.

Это первая публикация из серии, посвященной прогнозированию временных рядов с помощью torch. Она требует некоторого предыдущего опыта работы с Torch и/или глубоким обучением. Но что касается временных рядов, то они рассматриваются с самого начала, используя рекуррентные нейронные сети (GRU или LSTM), чтобы предсказать, как что-то будет развиваться во времени.

Прогнозирование временных рядов в R с помощью lstm

Оказывается, глубокое обучение со всей его мощью также можно использовать для прогнозирования. Особенно модель LSTM (Long Short Term Memory), которая оказалась полезной при решении проблем, связанных с последовательностями с автокорреляцией.

Сети с долговременной краткосрочной памятью - это своего рода рекуррентные нейронные сети (RNN), которые способны изучать долгосрочные зависимости. LSTM позволяет сохранять долгосрочные состояния в дополнение к краткосрочным, с которыми традиционные RNN испытывают трудности. LSTM весьма полезны в задачах прогнозирования временных рядов, включающих автокорреляцию, из-за их способности поддерживать состояние и распознавать закономерности по длине ряда.

Временные ряды и спектральный анализ в R

Оригинал: Time Series and Spectral Analysis

Многие экологические, эпидемиологические и физические данные представлены в виде временных рядов. Временной ряд - это последовательность наблюдений, записанных через последовательные интервалы времени.

В целом временные ряды характеризуются зависимостью. Значение ряда в некоторый момент времени t обычно не зависит от его значения, скажем, в t − 1. Мы используем специализированную статистику для анализа временных рядов и специализированные структуры данных для их представления в R. Эти структуры данных значительно облегчают наш последующий анализ.

Эти заметки представляют собой очень короткое введение в некоторые инструменты, которые я нашел полезными для экологии болезней.

Использование papeR - краткое руководство

Это краткое руководство, которое охватывает некоторые из основных функций пакета R papeR.

Основная цель пакета - упростить статистическую отчетность и, таким образом, облегчить воспроизводимость исследований. Используя такие мощные инструменты, как Sweave или пакеты knitr и xtable, пакет можно легко интегрировать в существующие рабочие процессы.

• Прежде всего, пакет предоставляет инфраструктуру для обработки меток переменных, которые используются во всех других функциях (labels()).
• Пакет позволяет создавать (сложные) сводные таблицы наборов данных (summarize()) и легко отображать данные (plot() для помеченных data.frames).
• Наконец, пакет позволяет расширять сводные таблицы статистических моделей, (возможно) добавляя доверительные интервалы, звезды значимости, отношения шансов и т. д., а также разделяя имена переменных и уровни факторов (prettify()).

Руководство по Tableau для начинающих

Взгляните на визуализацию ниже, созданную известным шведским статистиком Хансом Рослингом. Он собрал данные о мировом развитии примерно за 200 лет и изложил их очень просто:

Это отличный пример визуализации данных, которая вместо того, чтобы сосредотачиваться на числах, сосредотачивается на рассказе их истории. Вы можете найти интерактивную версию этого наглядного пособия здесь.

В настоящее время доступно несколько программных продуктов, которые помогают в создании такой простой визуализации, и инструмент, который мы собираемся рассмотреть в этой статье, это Tableau.

Первые шаги с нелинейной регрессией в R

Проведение прямой линии через облако точек (т. е. выполнение линейной регрессии) - это самый простой анализ данных, который можно сделать. Иногда он хорошо согласуется с данными, но в некоторых (многих) ситуациях отношения между переменными не являются линейными. В этом случае можно использовать три различных способа: (1) попытаться линеаризовать взаимосвязь путем преобразования данных, (2) подогнать полиномиальные или сложные модели сплайнов к данным или (3) подогнать нелинейные функции к данным. Как вы уже догадались из названия, этот пост будет посвящен третьему варианту.

Что такое критерий хи-квадрат и как он работает? Интуитивное объяснение с кодом R.

Оригинал: What is the Chi-Square Test and How Does it Work? An Intuitive Explanation with R Code

Вступление

«Наука продвигается, предлагая и проверяя гипотезы, а не объявляя вопросы неразрешимыми» - Ник Мацке

Давайте начнем с тематического исследования. Я хочу, чтобы вы прямо сейчас подумали о вашем любимом ресторане. Допустим, вы хотите предсказать количество людей, приезжающих на обед пять дней в неделю. В конце недели вы заметили, что ожидаемое количество отличался от фактического.

Похоже на главную проблему статистики? Это идея!

Итак, как вы будете проверять статистическую значимость между наблюдаемыми и ожидаемыми значениями? Помните, что это категориальная переменная - «дни недели» - с пятью категориями [понедельник, вторник, среда, четверг, пятница].

Один из лучших способов справиться с этим - использовать критерий хи-квадрат.

Простое введение в распознавание лиц (с кодом Python)

Оригинал: A Simple Introduction to Facial Recognition (with Python codes)

Введение

Знаете ли вы, что каждый раз, когда вы загружаете фотографию в Facebook, платформа использует алгоритмы распознавания лиц для идентификации людей на этом изображении? Или что определенные правительства во всем мире используют технологию распознавания лиц для выявления и поимки преступников? Мне не нужно говорить, что теперь вы можете разблокировать смартфоны своим лицом!

Области применения этой области компьютерного зрения огромны, и компании по всему миру уже пожинают его плоды. Использование моделей распознавания лиц будет только расти в ближайшие несколько лет, так почему бы не научиться делать их с нуля?

Полное руководство по анализу и моделированию временных рядов в R

Оригинал: A Complete Tutorial on Time Series Modeling in R

Введение

«Время» является наиболее важным фактором, обеспечивающим успех в бизнесе. Трудно идти в ногу со временем. Но технология разработала несколько мощных методов, используя которые мы можем «видеть вещи» раньше времени. Не волнуйтесь, я не говорю о машине времени. Давайте будем реалистами!

Я говорю о методах прогнозирования. Одним из таких методов, который работает с данными на основе времени, является моделирование временных рядов. Как следует из названия, он включает в себя работу с данными, основанными на времени (годы, дни, часы, минуты), чтобы получить скрытую информацию для принятия обоснованного решения.

Работа с временными рядами в R с помощью пакетов xts и zoo. Часть 5. Дополнительные возможности xts

Перевод. Оригинал: Manipulating Time Series Data in R with xts & zoo

Часть 5. Дополнительные возможности xts

Первая часть
Вторая часть

Третья часть
Четвертая часть

Атрибуты класса - tclass, tzone, и tformat

Объекты xts несколько сложнее, когда дело доходит до времени. Мы теперь увидели, что атрибут index внутренне на самом деле представляет собой вектор числовых значений, соответствующих секундам, прошедшим с эпохи UNIX (1970-01-01).

То, как эти значения отображаются при печати и как они возвращаются пользователю при использовании функции index(), зависит от нескольких ключевых внутренних атрибутов.

Работа с временными рядами в R с помощью пакетов xts и zoo. Часть 4. Применение функций семейства apply к временным рядам

Перевод. Оригинал: Manipulating Time Series Data in R with xts & zoo

Часть 4. Применение функций семейства apply к временным рядам

Первая часть
Вторая часть
Третья часть

Нахождение интервалов по времени в xts

Одним из преимуществ работы с объектами временных рядов является то, насколько легко применять функции по времени.

Основной функцией в xts для облегчения этих действий является endpoints(). Она принимает временной ряд (или вектор времен) и возвращает местоположения последних наблюдений в каждом интервале.

Работа с временными рядами в R с помощью пакетов xts и zoo. Часть 3.Слияние и изменение временных рядов.

Перевод. Оригинал: Manipulating Time Series Data in R with xts & zoo

Часть 3. Слияние и изменение временных рядов.

Первая часть
Вторая часть

Объединение xts по столбцам со слиянием

xts позволяет легко объединять данные по столбцам и строкам, используя несколько различных функций. Все результаты будут упорядочены во времени независимо от исходных частот или класса даты. Одна из наиболее важных функций для этого - merge(). Она берет один или несколько рядов и объединяет их по столбцам. Также возможно объединить ряд с вектором дат. Это особенно полезно для нормализации наблюдений в фиксированном календаре.

Работа с временными рядами в R с помощью пакетов xts и zoo. Часть 2. Базовые операции с объектами xts.

Перевод. Оригинал: Manipulating Time Series Data in R with xts & zoo

Часть 2. Базовые операции с объектами xts.

Первая часть

Стандарт ISO-8601

Стандарт ISO-8601 является международно признанным способом представления даты и времени. Стандарт допускает общий формат, чтобы не только описывать даты, но также представлять диапазоны и повторяющиеся интервалы.

xts использует этот стандарт для всех операций извлечения и замены. Это делает код простым в написании и поддержке. Это также обеспечивает очень краткое выражение диапазонов дат и интервалов.

Работа с временными рядами в R с помощью пакетов xts и zoo. Часть 1. Введение в eXtensible Time Series

Перевод. Оригинал: Manipulating Time Series Data in R with xts & zoo

library(xts)
library(zoo)

1. Введение в eXtensible Time Series, использование xts и zoo для моделирования временных рядов

Что представляет собой объект xts?

В R есть много различных типов объектов. Каждый из них обладает различными функциями, и у каждого есть свое назначение. Некоторые классы наследуют поведение от своих родителей, что позволяет создавать собственные расширения для существующих и хорошо понятных объектов R. Это позволяет легко адаптировать существующий код к новым функциям.