Прогнозирование прочности бетона с использованием машинного обучения (с кодом Python)

Введение

Каждый специалист по анализу данных должен создавать предметные знания в каждой области, потому что мы должны решать каждую проблему, с которой, вероятно, сталкивается мир. Если вы не знаете, что такое знание предметной области? это знание определенной области или специализация в какой-либо области. мы также можем сказать, что это часть общих знаний, поэтому, как специалисты по данным, мы, вероятно, решаем реальные проблемы, которые были основаны на машинном обучении, со знанием предметной области конкретной проблемы.

Стационарность и память на финансовых рынках

Стационарность и предсказуемость временных рядов, частным случаем которых является память временных рядов, являются фундаментальными понятиями для количественного инвестиционного анализа. Однако это часто неправильно понимают как практики, так и исследователи, о чем свидетельствует глава 5 недавней книги «Advances in Financial Machine Learning». Я имел удовольствие разъяснить эти заблуждения некоторым участниками конференции The Rise Of Machine Learning in Asset Management в Йельском университете после конференции, но я пришел к выводу, что проблема настолько распространена, что заслуживает публичного обсуждения.

Автоматизация Microsoft Excel и Word с помощью Python

Microsoft Excel и Word, без сомнения, являются двумя наиболее широко используемыми программами в корпоративном и некорпоративном мире. Они практически являются синонимами самому термину «работа». Часто не проходит и недели, чтобы мы не использовали комбинацию этих двух программ. Хотя для усредненных задач автоматизация не требуется, бывают случаи, когда автоматизация может быть необходимостью. А именно, когда у вас есть множество диаграмм, рисунков, таблиц для создания отчетов, это может стать чрезвычайно утомительным занятием, если вы выберете ручную работу. На самом деле существует способ создать конвейер в Python, в котором вы можете легко интегрировать их для создания электронных таблиц в Excel, а затем передать результаты в Word для практически мгновенного создания отчета.

Использование индекса фрактальной размерности для прогнозирования рыночных максимумов и минимумов

Рынки фрактальны по своей природе, то есть, они обладают определенными свойствами, такими как самоподобие, что позволяет моделировать их с использованием инструментов из этой области. Конечно, легче сказать, чем сделать. В этой статье мы попытаемся разработать индекс фрактальной размерности на основе функции экспоненты Херста, чтобы увидеть, как мы можем предсказать, когда рыночные тенденции вот-вот изменятся. Прежде чем перейти к индексу фрактальной размерности, мы начнем с введения и кодирования экспоненты Херста.

Временные ряды: зачем нам нужны стационарность и эргодичность

Временной ряд - это ряд точек данных, индексированных по времени, обычно с равными временными интервалами. Примерами временных рядов являются цены на акции, ежемесячная доходность, продажи компании и т. д. Временные ряды можно рассматривать как данные с целевой переменной (цена, доходность, объем продаж…) и только одной характеристикой: временем. Действительно, идея временных рядов заключается в том, что мы можем экстраполировать интересную информацию, анализируя поведение данной переменной во времени. Тогда, если появятся соответствующие выводы, в идеале будет возможно предсказать движение нашей переменной в будущем.

Визуализация научных данных: введение в Matplotlib

Визуализация - это графическое отображение информации. Обучение и познание улучшается благодаря визуализации. Хотя не все мы прирожденные художники, для визуализации научной графики просто необходимы знания кода для визуализации идей и концепций.

Число исследователей увеличивается с каждым днем. Одна из проблем, с которой часто сталкиваются исследователи, заключается в том, как наилучшим образом донести свои результаты до сообщества и широкой общественности. Ну, нет простых способов выразить сложные научные идеи простыми словами. Знаменитая английская идиома «A picture is worth a thousand words» подсказывает нам решение. Изображения передают идеи простым, но элегантным способом. Однако научная визуализация не ограничивается только исследователями - профессионалам, работающим в различных областях, таких как информационные технологии, банковское дело, автомобили и здравоохранение, также нужны хорошие инструменты визуализации.

Нейронные сети для алгоритмического трейдинга. Простое прогнозирование временных рядов.

Оригинал: Neural networks for algorithmic trading. Simple time series forecasting

ВАЖНОЕ ПРИМЕЧАНИЕ:

Я допустил ошибку в этом посте во время предварительной обработки данных для проблемы регрессии - проверьте эту проблему https://github.com/Rachnog/Deep-Trading/issues/1, чтобы исправить. Это приводит к худшим результатам, которые могут быть частично улучшены за счет лучшего поиска гиперпараметров с использованием полных данных OHLC и обучения для > 50 эпох.

Это первая часть моих экспериментов по применению глубокого обучения для финансов, в частности, для алгоритмического трейдинга.

Создание переменного RSI для динамической торговли. Исследование на Python

В прошлой статье мы вместе увидели, как создать стохастический осциллятор с поправкой на волатильность. В этой статье мы будем использовать те же рассуждения о RSI, но мы будем делать поправку на корреляцию, а не на волатильность. Основная идея состоит в том, чтобы увидеть, хотим ли мы взвесить период ретроспективного анализа RSI на основе показателя скользящей корреляции.

Наш план будет заключаться в том, чтобы научиться кодировать RSI, который изменяет период ретроспективного анализа в каждый период времени на основе последней скользящей корреляции между ценой и моментумом. Причина, по которой я выбрал расчет моментума, заключается в том, что, мы еще не знаем период ретроспективного анализа для RSI, и, следовательно, мы не можем рассчитать меру корреляции специально для него. Когда мы знаем корреляцию между моментумом и рыночной ценой, мы можем преобразовать эту информацию в переменные периоды ретроспективного анализа для RSI. Мы увидим это более подробно ниже. 

Визуализация данных с помощью Matplotlib

В мире Python существует несколько инструментов для визуализации данных:

• matplotlib создает графики полиграфического качества в различных форматах и в интерактивных средах на разных платформах, вы можете создавать графики, гистограммы, спектры мощности, диаграммы ошибок, диаграммы рассеяния и т. д. с помощью всего лишь нескольких строк кода.
• Seaborn - библиотека для создания привлекательных и информативных статистических графиков на Python.

Другие библиотеки (в частности, pandas также обладает собственной функциональностью визуализации).

Парсинг аудио, видео и изображений из интернета с помощью Python

Оригинал: How to perform Audio-Video-Image Scraping with Python

Наша статья - это отрывок из книги Ричарда Лоусона «Web Scraping with Python». Эта книга содержит пошаговые инструкции по использованию методов программирования Python для этичного парсинга веб-страниц.

Распространенной практикой парсинга является загрузка, хранение и дальнейшая обработка медиаконтента (не веб-страниц или файлов данных). Они могут включать изображения, аудио и видео. Чтобы хранить контент локально (или в такой службе, как S3) и делать это правильно, нам нужно знать тип медиа, и этого недостаточно, чтобы доверять расширению файла в URL-адресе. Следовательно, мы должны знать, как загрузить и правильно представить тип мультимедиа на основе информации с веб-сервера.

Творческое применение паттернов в технических индикаторах с помощью Python

Оригинал: Using Patterns Creatively on Technical Indicators. A Python Study.

Что, если мы попробуем использовать алгоритмы распознавания образов на технических индикаторах?

Как мы знаем, распознавание образов - это поиск и идентификация повторяющихся паттернов с примерно одинаковыми результатами. При использовании их в ценах мы получаем хорошие результаты по одним стратегиям и плохие по другим. Наша задача сейчас - проявлять творческий подход и расширить горизонты наших исследований. В этой статье мы протестируем паттерн, который я обнаружил после множества исследований, но на этот раз мы будем применять паттерн не к ценам активов, а к техническим индикаторам, в частности, к индексу относительной силы - RSI.

Кодирование различных типов скользящих средних в Python

Оригинал: How to code different types of moving averages in Python.

Трейдинговое программное обеспечение поставляется с различными типами скользящих средних, которые уже предварительно установлены и готовы к построению графиков. Но может быть интересно понять, как рассчитать эти скользящие средние, чтобы иметь возможность использовать их при тестировании потенциальных стратегий на исторических данных.

Если вам нужен способ сделать их своими руками, то статья ниже наверняка вас заинтересует. Все, что требуется, это интерпретатор Python, такой как SPYDER. Наиболее широко используемые типы скользящих средних:

Python для трейдинга: введение

Перевод. Оригинал: Python For Trading: An Introduction

Python, язык программирования, который был разработан в конце 1980-х годов Гвидо Ван Россумом, стал необыкновенно популярным, особенно в последние годы, благодаря простоте использования, обширным библиотекам и элегантному синтаксису.

Как язык программирования получил такое название, как «Python»? Ну, Гвидо, создателю Python, понадобилось короткое, уникальное и немного загадочное имя, и поэтому он выбрал Python во время просмотра комедийного сериала под названием «Летающий цирк Монти Пайтона».

Хакинг FFmpeg с помощью Python, часть вторая

В первой части этого руководства мы рассмотрели некоторые простые примеры, в которых язык программирования python используется для взаимодействия с мультимедийным фреймворком с открытым исходным кодом FFmpeg.

Прежде чем получать вывод утилиты ffprobe, исследовать видео и превращать его в объект python, мы настоятельно рекомендуем вам взглянуть на словари python, которые используются для хранения информации в виде пар "значение - ключ".

Хакинг FFmpeg с помощью Python - часть первая

FFmpeg - отличный мультимедийный фреймворк, который помогает вам обрабатывать аудио и видео файлы. Что я имею в виду? Вы можете легко конвертировать файлы из одного формата в другой, извлекать аудио из видео, сжимать видео и даже извлекать из видео снимки. Есть много интересных вещей, которые вы сможете сделать с помощью этого инструмента. Он написан в основном на языке программирования C, и является приложением с открытым исходным кодом.

В этом руководстве вы узнаете, как использовать язык программирования python для взаимодействия с FFmpeg, чтобы автоматизировать некоторые простые задачи.

Введение в PyTorch - простая, но мощная библиотека Deep Learning.

Введение

Время от времени разрабатывается библиотека Python, которая может изменить ситуацию в области глубокого обучения. PyTorch - одна из таких библиотек.

В последние несколько недель я немного увлекся PyTorch. Я был потрясен тем, насколько легко ее понять. Среди различных библиотек глубокого обучения, которые я использовал до сих пор, PyTorch была самой гибкой и простой из всех.

Распознавание технических паттернов для трейдинга в Python

Распознавание образов - это поиск и идентификация повторяющихся паттернов с примерно одинаковыми результатами. Это означает, что когда нам удается найти паттерн, у нас есть ожидаемый результат, который мы хотим видеть и действовать в соответствии с нашей торговой стратегией. Например, паттерн «голова и плечи» - это классический технический паттерн, который сигнализирует о неизбежном развороте тренда. Литературные источники расходятся по поводу предсказательной способности этой известной конфигурации. В этой статье мы обсудим некоторые экзотические объективные закономерности. Я говорю «объективные», потому что у них есть четкие правила, в отличие от классических моделей, таких как голова и плечи и двойная вершина/дно. Мы обсудим три связанных шаблона, созданных Томом Демарком:

Pipenv - официально рекомендованная утилита для установки пакетов Python

На днях мы опубликовали руководство для начинающих по управлению пакетами Python с помощью PIP. В этом руководстве мы обсудили, как установить pip, а также как устанавливать, обновлять и удалять пакеты Python с помощью pip. Мы также обсудили важность виртуальных сред и способы создания виртуальной среды с помощью инструментов venv и virtualvnv. Сегодня мы узнаем о другом диспетчере пакетов Python под названием pipenv. Это новый инструмент упаковки Python, рекомендованный Python.org. Его можно использовать для простой установки и управления зависимостями python без необходимости создания виртуальных сред. Pipenv автоматически создает виртуальную среду для ваших проектов и управляет ею. Он также добавляет/удаляет пакеты из вашего Pipfile при установке/удалении пакетов.

Все, что вам нужно знать о матрице ошибок для машинного обучения

Были ли вы в ситуации, когда вы ожидали, что ваша модель машинного обучения должна работать очень хорошо, но у нее была низкая точность? Вы проделали всю тяжелую работу - так где же модель классификации сработала не так? Как это исправить?

Существует множество способов оценить эффективность вашей модели классификации, но ни один из них не выдержал испытания временем, кроме матрицы ошибок. Она помогает нам оценить, как наша модель работала, где она пошла не туда, и предлагает нам рекомендации по исправлению нашего пути.

Генеративные модели в действии: как создать картину Ван Гога с нейронной передачей художественного стиля

Оригинал: Generative Models in action: How to create a Van Gogh with Neural Artistic Style Transfer

В сегодняшнем руководстве мы изучим принципы нейронной передачи художественного стиля и покажем рабочий пример переноса стиля искусства Ван Гога на изображение.

Нейронная передача художественного стиля

Образ можно рассматривать как сочетание стиля и содержания. Техника передачи художественного стиля преобразует изображение, чтобы оно выглядело как картина с определенным стилем рисования. Мы увидим, как кодировать эту идею. Функция потери сравнивает сгенерированное изображение с содержимым фотографии и стилем картины. Следовательно, оптимизация выполняется для пикселя изображения, а не для весов сети. Два значения вычисляются путем сравнения содержимого фотографии со сгенерированным изображением, за которым следует стиль картины и созданное изображение.