Рэс10 параметры: Реле РЭС10 — DataSheet

Создание машинного обучения Модели обучения никогда не были такими простыми, и во многих статьях содержится большой обзор высокого уровня о том, что такое Data Science и о том, что она может сделать, или углубиться в действительно маленькая деталь реализации. Это приводит к тому, что начинающие специалисты в области данных, как и я недавно, часто смотрят на ноутбуки, думая: «Это выглядит великолепно и работает, но почему автор выбрал этот тип архитектуры / количество нейронов или эту функцию активации вместо другого? В этой статье я хочу дать некоторую интуицию о том, как принимать некоторые решения, такие как поиск правильных параметров при построении модели, продемонстрированную на очень простом LSTM для прогнозирования пола по заданному имени.Поскольку существует много отличных курсов по математике и общим понятиям, лежащим в основе повторяющихся нейронных сетей (RNN), например Глубокая специализация Эндрю Нга или здесь, на Среднем, я не буду углубляться в них и воспринимаю эти знания как данность. Вместо этого мы сосредоточимся только на реализации высокого уровня с использованием Keras. Цель состоит в том, чтобы получить более практическое понимание решений, которые необходимо принять для построения такой нейронной сети, особенно о том, как выбрать некоторые из гиперпараметров.

Полный текст статьи с кодом и выходами можно найти на Github в качестве ноутбука.

На Keras: последняя версия со времени поддержки TensorFlow в 2017 году, Keras внесла огромный вклад в виде простого в использовании и интуитивно понятного интерфейса в более сложные библиотеки машинного обучения. В результате построение реальной нейронной сети, а также обучение модели будет самой короткой частью нашего сценария.

Первым шагом является определение типа сети, которую мы хотим использовать, поскольку это решение может повлиять на наш процесс подготовки данных. Порядок символов в любом имени (или слове) имеет значение, это означает, что, если мы хотим проанализировать имя с помощью нейронной сети, RNN являются логическим выбором.Сети краткосрочной кратковременной памяти (LSTM) представляют собой особую форму сетей RNN, особенно мощных, когда дело доходит до поиска нужных функций, когда цепочка входных блоков становится длиннее. В нашем случае на входе всегда указывается строка (имя), а на выходе - вектор 1x2, указывающий, принадлежит ли имя мужчине или женщине.

После принятия этого решения мы начнем с загрузки всех необходимых нам пакетов, а также набора данных - файла, содержащего более 1,5 млн. Немецких пользователей с их именем и полом, закодированного как f для женщин и м для мужчины.

Предварительная обработка данных

Следующим этапом любой обработки на естественном языке является преобразование ввода в машиночитаемый векторный формат. Теоретически, нейронные сети в Керасе способны обрабатывать входные данные с переменной формой. В практике, работа с фиксированной длиной ввода в Keras может заметно улучшить производительность, особенно во время обучения. Причиной такого поведения является то, что эта фиксированная входная длина позволяет создавать тензоры фиксированной формы и, следовательно, более стабильные веса.

Сначала мы преобразуем каждое (первое) имя в вектор. Метод, который мы будем использовать, - это так называемое «горячее кодирование».
Здесь каждое слово представлено вектором из n двоичных подвекторов, где n - количество различных символов в алфавите (26 с использованием английского алфавита). Причина, по которой мы не можем просто конвертировать каждый символ в свою позицию в алфавите, например, a - 1, b - 2 и т. д.) это заставит сеть предположить, что символы имеют порядковый масштаб, а не категориальный - буква Z не «стоит больше», чем A .

Пример:
S становится:
[0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

Привет становится:
[[0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 1, 0, 0, 0, 0 , 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[0, 0 , 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ],
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]]

Теперь, когда мы определили, как должны выглядеть входные данные, мы должны принять два решения: как долго должен быть вектор символов (сколько разных символов мы допускаем) и как долго будет вектор имени (сколько символов мы хотим посмотреть).Мы допустим только наиболее распространенные символы в немецком алфавите (стандартный латинский + öäü) и дефис, который является частью многих более старых имен.
Для простоты мы установим длину вектора имени равной длине самого длинного имени в нашем наборе данных, но с 25 в качестве верхней границы, чтобы убедиться, что наш входной вектор не станет слишком большим только потому, что один человек сделал ошибка во время ввода имени.

Scikit-learn уже включает алгоритм One Hot Encoding в свою библиотеку предварительной обработки.Однако в этом случае из-за нашей особой ситуации, когда мы не конвертируем метки в векторы, а разбиваем каждую строку на символы, создание пользовательского алгоритма, по-видимому, выполняется быстрее, чем в противном случае необходима предварительная обработка.

Было показано, что массивам Numpy требуется примерно в 4 раза меньше памяти по сравнению со списками Python. По этой причине мы используем понимание списка как более питонический способ создания входного массива, но уже преобразуем каждый вектор слов в массив внутри списка.При работе с массивами Numpy мы должны убедиться, что все списки и / или массивы, которые объединяются, имеют одинаковую форму.

Теперь, когда у нас есть готовый ввод, мы можем начать строить нашу нейронную сеть. Мы уже определились с моделью (LSTM). В Keras мы можем просто сложить несколько слоев друг на друга, для этого нам нужно инициализировать модель как Sequential () .

Выбор правильного количества узлов и слоев

Нет окончательного, определенного, практического правила относительно того, сколько узлов (или скрытых нейронов) или сколько слоев нужно выбрать, и очень часто метод проб и ошибок дает вам лучшие результаты для вашей индивидуальной проблемы.Наиболее распространенной основой для этого является, скорее всего, перекрестная проверка в k раз. Однако даже для процедуры тестирования нам нужно выбрать несколько ( k ) номеров узлов.
Следующая формула может дать вам отправную точку:

Nᵢ - это число входных нейронов, Nₒ - количество выходных нейронов, Nₛ - количество выборок в обучающих данных, а - представляет собой масштабный коэффициент, который обычно составляет от 2 до 10. Мы можем рассчитать 8 различных чисел, чтобы включить их в нашу процедуру проверки и найти оптимальную модель, основанную на полученной потере проверки.

Если проблема проста и время ее возникновения, существуют различные другие правила определения количества узлов, которые в основном просто основаны на входных и выходных нейронах. Мы должны помнить, что, будучи простыми в использовании, они редко дают оптимальный результат. Вот только один пример, который мы будем использовать для этой базовой модели:

Как уже упоминалось, такая же неопределенность в отношении количества существует и для количества скрытых слоев, которые нужно использовать. Опять же, идеальное число для любого конкретного варианта использования будет отличаться, и лучше всего определиться, запустив разные модели друг против друга.Как правило, двух слоев достаточно для обнаружения более сложных объектов. Чем больше слоев, тем лучше, но и труднее тренироваться. Как общее практическое правило - 1 скрытый слой работает с такими простыми задачами, как эта, и двух достаточно, чтобы найти достаточно сложные функции.
В нашем случае добавление второго слоя повышает точность только на ~ 0,2% (0,9807 против 0,9819) после 10 эпох.

Выбор дополнительных гиперпараметров

Каждый слой LSTM должен сопровождаться выпадающим слоем.Этот слой поможет предотвратить переоснащение, игнорируя случайно выбранные нейроны во время тренировки, и, следовательно, снижает чувствительность к конкретному весу отдельных нейронов. 20% часто используется как хороший компромисс между сохранением точности модели и предотвращением переоснащения.

После того, как наши слои LSTM выполнили всю работу по преобразованию входных данных, чтобы сделать возможными предсказания в отношении желаемого выходного сигнала, мы должны уменьшить (или, в редких случаях, расширить) форму, чтобы соответствовать желаемому выходному результату. В нашем случае у нас есть две метки вывода, и поэтому нам нужны две единицы вывода.

Последний слой для добавления - это слой активации. Технически, это может быть включено в слой плотности, но есть причина разделить это на части. Хотя это не имеет отношения к делу, разделение слоя плотности и слоя активации позволяет получить уменьшенный выходной сигнал слоя плотности модели. Какую функцию активации использовать, опять же, зависит от приложения. Для нашей задачи у нас есть несколько классов (мужские и женские), но одновременно может присутствовать только один из классов.Для задач такого типа, как правило, функция активации softmax работает лучше всего, потому что она позволяет нам (и вашей модели) интерпретировать результаты как вероятности.

Функция потери и функция активации часто выбираются вместе. Использование функции активации softmax указывает нам на кросс-энтропию в качестве нашей предпочтительной функции потерь или, более точно, на двоичную кросс-энтропию, поскольку мы столкнулись с проблемой двоичной классификации. Эти две функции хорошо работают друг с другом, потому что функция кросс-энтропии отменяет плато на каждом конце функции soft-max и, следовательно, ускоряет процесс обучения.

Для выбора оптимизатора было показано, что адаптивная оценка момента, короткая _Adam_, хорошо работает в большинстве практических приложений и работает с небольшими изменениями в гиперпараметрах. И последнее, но не менее важное, мы должны решить, после какой метрики мы хотим судить о нашей модели. Керас предложил несколько функций точности. Во многих случаях оценка производительности моделей с точки зрения общей точности будет наиболее простым вариантом для интерпретации, а также достаточной в результате оценки производительности модели.

Построение, обучение и оценка модели

Получив некоторое представление о том, как выбрать наиболее важные параметры, давайте соберем их все вместе и обучим нашу модель:

Точность 98,2% довольно впечатляющая и, скорее всего, будет весьма вероятной. результат того факта, что большинство имен в наборе проверки уже присутствовали в нашем наборе тестов. Используя наш набор проверки, мы можем быстро взглянуть на то, где наша модель приходит к неправильному прогнозу:

Если посмотреть на результаты, то, по крайней мере, некоторые из ложных прогнозов появляются для людей, которые ввели свои фамилии в поле имени.Видя это, хороший следующий шаг - очистить исходный набор данных от этих случаев. На данный момент результат выглядит довольно многообещающе. С той точностью, которую мы можем достичь, эта модель уже может использоваться во многих реальных ситуациях. Кроме того, обучение модели для большего количества эпох может повысить ее производительность, здесь важно следить за производительностью на наборе проверки, чтобы предотвратить возможное переоснащение

Заключительные мысли

В этой статье мы успешно создали небольшую модель для прогнозирования пол данного (немецкого) имени с точностью более 98%.В то время как Keras освобождает нас от написания сложных алгоритмов глубокого обучения, мы все равно должны сделать выбор в отношении некоторых гиперпараметров. В некоторых случаях, например, Выбирая правильную функцию активации, мы можем положиться на практические правила или определить правильный параметр в зависимости от нашей проблемы. Однако в некоторых других случаях наилучший результат будет получен при тестировании различных конфигураций и последующей оценке результата.