Прогнозирование прочности бетона с использованием машинного обучения (с кодом Python)

Введение

Каждый специалист по анализу данных должен создавать предметные знания в каждой области, потому что мы должны решать каждую проблему, с которой, вероятно, сталкивается мир. Если вы не знаете, что такое знание предметной области? это знание определенной области или специализация в какой-либо области. мы также можем сказать, что это часть общих знаний, поэтому, как специалисты по данным, мы, вероятно, решаем реальные проблемы, которые были основаны на машинном обучении, со знанием предметной области конкретной проблемы.

Интеграция машинного обучения в веб-приложение с помощью Flask

Все мы сталкивались с различными веб-приложениями, использующими машинное обучение. Например, Netflix и YouTube используют ML, чтобы персонализировать ваш опыт, рекомендуя вам новый контент на основе вашей истории просмотров. Это помогает им принимать более обоснованные решения и понимать поведение пользователей при просмотре веб-страниц.

Даже вы можете создать такое приложение, в котором вы вводите свои входные данные, и оно прогнозирует выходные данные для вас, используя вашу модель машинного обучения. Создаваемые вами модели машинного обучения можно использовать более эффективно, если вы можете интегрировать свои модели в приложение. Это не только подчеркивает ваши знания машинного обучения, но и ваши навыки разработки приложений.

Введение в PyTorch - простая, но мощная библиотека Deep Learning.

Введение

Время от времени разрабатывается библиотека Python, которая может изменить ситуацию в области глубокого обучения. PyTorch - одна из таких библиотек.

В последние несколько недель я немного увлекся PyTorch. Я был потрясен тем, насколько легко ее понять. Среди различных библиотек глубокого обучения, которые я использовал до сих пор, PyTorch была самой гибкой и простой из всех.

Отбор признаков с использованием генетических алгоритмов в R

Оригинал: Feature Selection using Genetic Algorithms in R

Что такое генетические алгоритмы?

Генетические алгоритмы (GA) - это математическая модель, вдохновленная известной идеей естественного отбора Чарльза Дарвина.

Естественный отбор сохраняет только наиболее приспособленных особей из разных поколений.

Представьте себе популяцию 100 кроликов в 1900 году, если мы посмотрим на популяцию сегодня, мы увидим других кроликов, более быстрых и умелых в поисках пищи, чем их предки.

Все, что вам нужно знать о матрице ошибок для машинного обучения

Были ли вы в ситуации, когда вы ожидали, что ваша модель машинного обучения должна работать очень хорошо, но у нее была низкая точность? Вы проделали всю тяжелую работу - так где же модель классификации сработала не так? Как это исправить?

Существует множество способов оценить эффективность вашей модели классификации, но ни один из них не выдержал испытания временем, кроме матрицы ошибок. Она помогает нам оценить, как наша модель работала, где она пошла не туда, и предлагает нам рекомендации по исправлению нашего пути.

Классификатор дерева решений для трейдинга

Стратегия в этом посте будет касаться не обычных технических индикаторов, а некоторых из моих собственных разработок. Кроме того, мы увидим разницу между эффективностью стратегии на тестовых и обучающих данных, а также с изменениями размера обучающих данных и длины прогноза.

В отличие от моих предыдущих постов, здесь я буду использовать динамический таймфрейм для получения данных за последние несколько дней. Но прежде чем мы начнем, давайте импортируем необходимые библиотеки.

Прогнозирование цен на акции с использованием методов машинного обучения и глубокого обучения (с кодом Python)

Оригинал: Stock Prices Prediction Using Machine Learning and Deep Learning Techniques (with Python codes)

Введение

Предсказать, как будет развиваться фондовый рынок, - одна из самых сложных задач. В прогнозировании задействовано очень много факторов - физические факторы против физиологического, рационального и иррационального поведения и т. д. Все эти аспекты в совокупности делают цены на акции нестабильными, и их очень трудно предсказать с высокой степенью точности.

Можем ли мы использовать машинное обучение, чтобы изменить правила игры в этой области? Используя такие данные, как последние новости о компании, ее квартальные результаты по доходам и т. д., методы машинного обучения могут выявить закономерности и идеи, которых мы раньше не видели, и их можно использовать для получения точных прогнозов.

Введение в оценку максимального правдоподобия (с кодом R)

Оригинал: An Introductory Guide to Maximum Likelihood Estimation (with a case study in R)

Введение

Интерпретация того, как работает модель, - один из самых важных аспектов науки о данных. Вы строите модель, которая дает довольно впечатляющие результаты, но какой процесс стоял за этим? Как специалисту по анализу данных, вам необходимо получить ответ на этот часто задаваемый вопрос.

Например, предположим, что вы построили модель для прогнозирования курса акций компании. Вы заметили, что цена акций быстро выросла за ночь. Причин может быть несколько. Определение вероятности наиболее правдоподобной причины - вот в чем суть оценки максимального правдоподобия. Эта концепция используется, среди прочего, в экономике, МРТ, спутниковой съемке.

В этом посте мы рассмотрим, как работает оценка максимального правдоподобия (далее MLE) и как ее можно использовать для определения коэффициентов модели с любым типом распределения. Понимание MLE потребует знания теории вероятности и математики, но я постараюсь облегчить его на примерах.

Предсказание поведения рынков с помощью eXtreme Gradient Boosting (XGBoost)

 Оригинал: Forecasting Markets using eXtreme Gradient Boosting (XGBoost)

В последние годы машинное обучение вызвало большой интерес в связи с его прибыльным применением в трейдинге. Многочисленные модели машинного обучения, такие как линейная/логистическая регрессия, машины опорных векторов, нейронные сети, модели на основе деревьев и т. д., испытываются и применяются в попытке анализировать и прогнозировать рынки. Исследователи обнаружили, что некоторые модели более успешны по сравнению с другими моделями машинного обучения. eXtreme Gradient Boosting, также называемый XGBoost, является одной из таких моделей машинного обучения, которая получила восторженные отзывы от практиков машинного обучения.

Первые шаги с нелинейной регрессией в R

Проведение прямой линии через облако точек (т. е. выполнение линейной регрессии) - это самый простой анализ данных, который можно сделать. Иногда он хорошо согласуется с данными, но в некоторых (многих) ситуациях отношения между переменными не являются линейными. В этом случае можно использовать три различных способа: (1) попытаться линеаризовать взаимосвязь путем преобразования данных, (2) подогнать полиномиальные или сложные модели сплайнов к данным или (3) подогнать нелинейные функции к данным. Как вы уже догадались из названия, этот пост будет посвящен третьему варианту.

Полное руководство по 12 техникам уменьшения размерности (с кодом Python)

Оригинал: The Ultimate Guide to 12 Dimensionality Reduction Techniques (with Python codes)

Введение

Вы когда-нибудь работали с набором данных, содержащим более тысячи признаков? Как насчет более 50 000 признаков? У меня они есть, и позвольте мне сказать вам, что это очень сложная задача, особенно если вы не знаете, с чего начать! Наличие большого количества переменных - это и благо, и проклятие. Здорово, что у нас есть масса данных для анализа, но это сложно из-за размера.

Невозможно проанализировать каждую переменную на микроскопическом уровне. На выполнение сколько-нибудь значимого анализа у нас могут уйти дни или месяцы, и мы потеряем кучу времени и денег! Не говоря уже о вычислительной мощности, которая для этого потребуется. Нам нужен лучший способ работы с многомерными данными, чтобы мы могли быстро извлекать из них закономерности и идеи. Итак, как нам подойти к такому набору данных?

15 типов регрессии, которые должен знать каждый специалист в области анализа данных

Оригинал: 15 TYPES OF REGRESSION IN DATA SCIENCE

Методы регрессии являются одним из самых популярных статистических методов, используемых для прогнозного моделирования и задач интеллектуального анализа данных. В среднем профессионалы аналитики знают только 2-3 типа регрессии, которые обычно используются в реальном мире. Это линейная и логистическая регрессия. Но дело в том, что существует более 10 типов регрессионных алгоритмов, разработанных для различных видов анализа. Каждый тип имеет свое назначение. Каждый аналитик должен знать, какую форму регрессии использовать в зависимости от типа данных и распределения.

Создание нейронных сетей с нуля в Python и R

Оригинал: Understanding and coding Neural Networks From Scratch in Python and R

Введение

Вы можете изучать и применять на практике какую-либо концепцию двумя способами:

Вариант 1. Вы можете изучить всю теорию по конкретному предмету, а затем искать способы применения этих понятий. Итак, вы читаете, как работает весь алгоритм, его математические основы, его допущения, ограничения, а затем применяете его. Надежный, но требующий времени подход.

Вариант 2. Начните с простых основ и разработайте интуитивное понимание по этому вопросу. Далее выберите проблему и начните ее решать. Изучите концепции, пока вы решаете проблему. Продолжайте развивать и улучшать ваше понимание. Итак, вы прочитали, как применить алгоритм - примените его. Когда вы знаете, как его применять, попробуйте поработать с различными параметрами, значениями, пределами и развить понимание алгоритма.

Введение в нейронные сети для финансовых рынков

Оригинал: Introduction to Neural Networks for Finance

Машинное обучение и глубокое обучение стали новыми и эффективными стратегиями, обычно используемыми количественными хедж-фондами для максимизации своей прибыли. Для меня, как финансового энтузиаста, это потрясающая новость, поскольку она объединяет две мои области интересов.

Эта статья будет введением в то, как использовать нейронные сети для прогнозирования движений фондового рынка, в частности, цены акции (или индекса). Этот пост основан на моем проекте IntroNeuralNetworks. Целью этого проекта является прогнозирование котировок акций выбранной компании с использованием методов машинного обучения и нейронных сетей.

Введение в генетические алгоритмы с примерами

Оригинал: Introduction to Genetic Algorithms — Including Example Code

Генетический алгоритм - это эвристика поиска, основанная на теории естественной эволюции Чарльза Дарвина. Этот алгоритм отражает процесс естественного отбора, при котором наиболее подходящие особи отбираются для размножения, чтобы произвести потомство следующего поколения.

Понятие естественного отбора

Процесс естественного отбора начинается с отбора наиболее приспособленных особей из популяции. Они производят потомство, которое наследует характеристики родителей и будет добавлено к следующему поколению. Если родители лучше приспособлены, их дети будут лучше родителей и имеют больше шансов выжить. Этот процесс продолжает повторяться, и в конце, будет найдено поколение с самыми подходящими особями.

Полное руководство по исследованию данных

Перевод. Оригинал: A Comprehensive Guide to Data Exploration

Введение

Я работаю специалистом по бизнес-аналитике уже почти три года. В начале моей работы один из моих наставников советовал мне тратить больше времи на исследование и анализ данных. Следование его совету сослужило мне хорошую службу.

Я создал это руководство, чтобы помочь вам понять основные методы исследования данных. Как всегда, я старался изо всех сил объяснить эти понятия самым простым способом. Для лучшего понимания я привел несколько примеров, чтобы продемонстрировать сложные концепции.

Машинное обучение и его применение на рынке Forex

Перевод. Оригинал: Machine Learning and Its Application in Forex Markets [WORKING MODEL]

В последнем посте мы кратко рассмотрели концепцию машинного обучения (ML). В этом посте мы объясним еще несколько терминов ML, а затем сформулируем правила для стратегии форекс, используя алгоритм SVM в R.

Чтобы использовать ML в торговле, мы начнем с исторических данных (цены акций/данные форекс) и добавим индикаторы для построения модели на R/Python/Java. Затем мы выбираем правильный алгоритм машинного обучения для построения прогноза.

Искусственный интелект и машинное обучение в трейдинге

Перевод. Оригинал: Artificial Intelligence and Machine Learning in Trading

Искусственный интеллект является академической областью знаний, которая изучает, как создавать компьютеры и компьютерные программы, способные к интеллектуальному поведению. Согласно определению Википедии «Искусственный интеллект - это интеллект машин, где интеллектуальный агент (система) воспринимает окружающую среду и предпринимает действия, которые максимизируют его шансы на успех.

Понятие машинного обучения

Машинное обучение - это подмножество ИИ, предназначенное для классификации и поиска закономерностей и экстраполяции его на новые данные. Мы видим много приложений для машинного обучения.

Прогнозирование котировок акций в Python

Перевод. Оригинал: Stock Prediction in Python

Попытка предсказать движение фондового рынка - заманчивая перспектива для исследователей данных, мотивирующихся не столько стремлением к материальной выгоде, сколько решением сложной задачи. Мы видим ежедневные взлеты и падения рынка и представляем, что должны быть паттерны, которые мы или наши модели, могут изучить, чтобы побить всех тех дей-трейдеров дня из бизнес школ. Естественно, когда я начал использовать аддитивные модели для прогнозирования временных рядов, мне пришлось протестировать этот метод на испытательном полигоне фондового рынка с симулированными котировками. Неизбежно, я присоединился ко многим другим, которые пытались обыграть рынок изо дня в день и потерпели неудачу. Однако, в процессе, я изучил тонкости Python, включая объектно-ориентированное программирование, манипулирование данными, моделирование и визуализацию.

Работа с нейронными сетями в R, пакет neuralnet

Перевод. Оригинал: Fitting a Neural Network in R; neuralnet package

Нейронные сети всегда были одной из увлекательных моделей машинного обучения, на мой взгляд, не только из-за причудливого алгоритма обратного распространения, но и из-за их сложности (представьте себе глубокое обучение со многими скрытыми слоями) и структуры, вдохновленной мозгом.

Нейронные сети не всегда были популярны, отчасти потому, что они были и остаются в некоторых случаях вычислительно дорогими, а отчасти потому, что они, по-видимому, не дают лучших результатов по сравнению с более простыми методами, такими как машины опорных векторов (SVM). Тем не менее, нейронные сети вновь привлекли внимание и стали популярными.