Спектрограмма звука. Анализ звука: обзор спектрограмм и скрытых посланий в музыке

Как нейронная сеть SincNet выделяет значимые частоты в звуке через Back Propagation / Хабр

Недавно вышла одна очень интересная статья «Speaker Recognition from raw waveform with SincNet», в которой была описана end-to-end архитектура нейронной сети для распознавания говорящего по голосу. Ключевая особенность этой архитектуры — специальные одномерные сверточные слои, которые имеют всего два параметра с четкой интерпретацией. Интерпретируемость параметров нейронной сети — дело довольно затруднительное, поэтому эта статья привлекла мой интерес.

Если заинтересовало описание идеи этой статьи, а также почему эта идея близка по смыслу к построению мел-спектрограмм, то милости прошу под кат.

Отмечу, что все изображения, используемые в этом посте либо взяты из исходной статьи, либо их можно получить с помощью Jupyter Notebook’а, хранящегося в этом репозитории.

Авторами описываемой статьи был выложен исходный код на гитхаб, с ним можно ознакомиться здесь.

Мел-спектрограммы

Чтобы понять суть этой статьи, давайте сначала вспомним, что такое мел-спектрограмма, как ее получить и в чем ее смысл. Если эта тема вам знакома, то эта часть будет не очень интересной. Ее вычисляют по обычной спектрограмме, построенной с помощью оконного преобразования Фурье:

Суть этой операции в последовательном применении преобразования Фурье к коротким кусочкам речевого сигнала, домноженным на некоторую оконную функцию. Результат применения оконного преобразования — это матрица, где каждый столбец является спектром короткого участка исходного сигнала. Посмотрите на пример ниже:

Эксперименты ученых показали, что человеческое ухо более чувствительно к изменениям звука на низких частотах, чем на высоких. То есть, если частота звука изменится со 100 Гц на 120 Гц, человек с очень высокой вероятностью заметит это изменение. А вот если частота изменится с 10000 Гц на 10020 Гц, это изменение мы вряд ли сможем уловить.

В связи с этим была введена новая единица измерения высоты звука — мел. Она основана на психо-физиологическом восприятии звука человеком, и логарифмически зависит от частоты:

Собственно, мел-спектрограмма — это обычная спектрограмма, где частота выражена не в Гц, а в мелах. Переход к мелам осуществляется с помощью применения мел-фильтров к исходной спектрограмме. Мел-фильтры представляют из себя треугольные функции, равномерно распределенные на мел-шкале. В качестве примера здесь изображены 10 мел-фильтров (на практике их берут больше, здесь их мало для наглядности):

При переводе в частотную шкалы, те же самые фильтры будут выглядеть так:

Каждый столбец исходной спектрограммы скалярно умножается на каждый мел-фильтр (размещенный на частотной шкале), после чего получается вектор чисел, по размеру равный количеству фильтров. На картинке ниже изображен один из столбцов спектрограммы (значения амплитуды переведены в логарифмический масштаб для наглядности, то, что на картинке кодировалось цветом, здесь отражено по оси ординат) и два мел-фильтра, с помощью которых строится мел-спектрограмма:

В результате таких преобразований значения из низких частот спектрограммы остаются практически неизменными на мел-спектре, а в высоких частотах происходит усреднение значений из более широкого диапазона. В качестве примера предлагаю посмотреть на мел-спектрограмму, построенную по предыдущей спектрограмме с использованием 64 мел-фильтров:

Резюмируя все вышесказанное: на мел-спектрограмме сохраняется больше информации, которая хорошо воспринимается и различается человеком, чем на обычной спектрограмме. Иными словами, такое представление звука больше сфокусировано на низких частотах, и меньше — на высоких.

При чем же здесь SincNet?

Вспомним, что мел-шкала была создана на основе человеческого психо-физического восприятия звука. Но что если мы хотим выбрать другие полосы частот, которые нас интересуют больше чем остальные в какой-либо конкретной задаче? Как выбрать самый лучший набор фильтров для решения какой-либо задачи?

Именно эту задачу и решает предложенная авторами архитектура.

Авторы рассматривают в качестве фильтра следующую функцию:

в этой формуле — это прямоугольная функция. Такой фильтр задает диапазон частот от до . Вот ее график:

С помощью обратного преобразования Фурье для этой функции можно получить ее аналог во временной области:

Функция — это импульсная характеристика идеального полосового фильтра, который нельзя реализовать практически, поэтому авторы усекают эту функцию окном Хэмминга. В цифровой обработке сигналов такой подход называется синтезом фильтров методом окон.

Усеченный окном вариант функции авторы предлагают использовать в качестве шаблона для всех сверток, применяемых к сырым аудио данным. Эта функция дифференцируема по параметрам и , а значит ее можно использовать при оптимизации параметров сети методом обратного распространения ошибки.

По теореме о свертке, свертка исходного сигнала с функцией эквивалентна умножению спектра исходного сигнала на функцию . Грубо говоря, выполняя свертку исходного сигнала с функцией , мы «обращаем внимание» нейронной сети на данный диапазон частот в рассматриваемом сигнале.

Конечно, здесь не применяется преобразование Фурье и явно нейросети не сообщаются конкретные значения спектра в диапазоне . По всей видимости, задача извлечения спектральных характеристик возлагается на следующие блоки, расположенные в нейронной сети.

Из достоинств такого подхода, авторы отмечают следующее:

1. Быстрая сходимость
2. Гораздо меньшее количество параметров. В классическом сверточном блоке количество параметров равно длине свертки. При описанном же подходе, количество параметров не зависит от длины свертки и равно 2
3. Интерпретируемость параметров

Выводы

Фильтров, с помощью которых преобразуются спектрограммы, существуют много. Например, кроме описанных мел-фильтров, есть еще барк-фильтры (почитать можно здесь и здесь). По крайней мере барк — это тоже психофизическая величина, подобранная «под человека».

В своем исследовании авторы предложили метод, по которому можно заставить нейронную сеть самостоятельно выбрать наиболее подходящие диапазоны частот в процессе обучения в зависимости от набора данных. Как по мне, это очень похоже на процесс построения мел-спектрограммы, при котором больший приоритет отдается низким частотам. Вот только мел-спектрограммы придумали на основе человеческого восприятия звука, а в предложенном методе нейросеть сама решает, что важно, а что нет.

Скрытые послания в музыке / Хабр

Нетрудно вообразить места применения знаний того, как в неявном виде поделиться какой-то информацией, введенной в артефакты массовой культуры. Сегодня в большинстве случаев в скрытии каких-то посланий в музыке нет ровно никакой практической нужды — это лишь приятные бонусы для особенно ярых поклонников музыкальных коллективов. Вплетение посланий в слова песен и меняющиеся краски рисунков в оформлении музыкальных альбомов здесь, конечно, не рассматриваются.

Начнем с простых способов, не имеющих отношения к информатике и вычислительной технике. Наиболее очевидно наложить такие звуки, которые в воспроизведении грампластинки в обратную сторону на бытовом электропроигрывателе или специальной аппаратуре дадут разборчивую человеческую речь.

Потенциал подобной техники увидел ещё изобретатель фонографа Томас Эдисон, а впервые ею воспользовались пионеры электронной музыки в 50-ых годах прошлого века, хотя, конечно, популяризации приемов бэкмаскинга мы обязаны группе Beatles. В частности, под воздействием марихуаны Леннон прокручивал пленки задом наперед, и полученный звук его очень заинтересовал. Первой песней со скрытым сообщением была Rain.

Цензуру таким образом обходил, например, Фрэнк Заппа, звукозаписывающий лейбл которого не пропустил некоторые строчки.

_{Better look around before you say you don’t care.
Shut your f…ing mouth ’bout the length of my hair.
How would you survive, if you were alive, shitty little person?}

Менее известен прием наложения человеческой речи в ускоренном или замедленном виде, которым воспользовался Джими Хендрикс для песни Third Stone from the Sun. Если ускорить версию трэка в издании The Jimi Hendrix Experience: 1966–1967 в два раза (или проигрывать пластинку на 33⅓ оборота в минуту на скорости в 45), можно услышать отчетливый диалог космических пришельцев, изображаемых Джими и его менеджером.

_{Хендрикс: Star fleet to scout ship, please give your position. Over.
Чэндлер: I am in orbit around the third planet of star known as Sun. Over.
Хендрикс: May this be Earth? Over.
Чэндлер: Positive. It is known to have some form of intelligent species. Over.
Хендрикс: I think we should take a look. (Джими издает звукоподражания космическому кораблю)}

Спад интереса к скрытию посланий в обратном направлении или в проигрывании с повышенной скоростью связан, в первую очередь, с переходом на цифровые носители, проигрыватели которых далеко не всегда имеют функционал реверсирования проигрывания и его ускорения. Не стоит скрывать создание в конце 80-х в Калифорнии и некоторых других штатах законопроектов против заложения в музыку сообщений: фанатизм поиска пасхалок помог находить «послания антихриста» практически везде. Начало слухам о смерти Пола Маккартни положил именно бэкмаскинг.

Получить спектрограмму легко, возможно ли восстановить звук по спектрограмме? Да, но со значительными аппроксимациями, что никак не помешает создать музыку, которую нужно не слушать — всё равно получится жуткий металлический звон, — а смотреть. Такой музыкой является, к примеру трэк стороны B сингла Windowlicker британского электронного музыканта Aphex Twin, чаще всего называемый «Уравнение» или «Формула», но имеющий более эпатажное название:

Пропустите до 5:30, чтобы увидеть патентованную ухмылку Ричарда. Прием не был нов даже в 99-ом году: к примеру, вот конец трэка Windowlicker:

Легко догадаться, что будет в трэке Look глитч-альбома Songs About My Cats.

На виниловой пластике возможно напечатать две дорожки, как это иногда случалось. Например, в оригинальном издании The Monty Python Matching Tie and Handkerchief 1973 года мало того, что не были подписаны стороны пластинок, и не имелось списка трэков, так ещё и на стороне B были нанесены две паралелльные друг другу концентрические дорожки. Для прослушивания скрытой песни на «трехсторонней» пластинке была необходима лишь удачная установка иглы.

Такую же выходку провернул Mad Magazine на диске It’s a Super Spectacular Day, только дорожек было 8. На каждой из них красочно расписывались неприятности, которые могут с вами сегодня произойти. Записи в несколько дорожек были популярны ещё в 50-ых, но, как правило, использовались лишь в пластинках с аудиорассказами для детей, что позволяло получить несколько различных историй с одной двухсторонней пластинки.

Формат данных компакт-диска, описанный в Красной книге, допускает так называемый прегап — отступ от первого трэка. По умолчанию, он длится две секунды и содержит тишину. Множество музыкантов размещали в прегапе аудиоматериалы. К сожалению, обновление в Windows 95 сделало невозможным доступ системы к прегапу первого трэка, видимо, ради поддержки формата CD-Extra. Однако цифровые данные можно размещать следующим способом.

Как записать текстовый файл на виниловой пластинке? Американский коллектив Information Society смог без труда это сделать: название трэка 300bps N, 8, 1 (Terminal Mode or Ascii Download) альбома Peace and Love, Inc. явным образом указывало на то, как можно прочесть их послание. Модем на 300 бод позволял получить текстовый файл, содержавший рассказ группы о давлении на них бразильских государственных структур. Непонятно лишь, почему они выбрали столь странный формат для рассказа.Скрытый текстAtz Ok Atx3dt Connect 300

So we’re supposed to play in curitiba in 18 hours, but our bus is being held hostage by the local promoters. they’ve formed some unholy alliance with the brazilian counterpart of ascap: the prs. Rently the prs has the legal power to arrest people, and they want a piece of the national tour promoter’s money. the local security force, “gang mexicana”, has been bought out for 180 Zados and a carton of marlboros each. the only faction still operating in our defense is “big john”, our personal security man, and he’s hiding in his room because a local gang is out Is blood because of a 1982 knifing incident in which he was involved. our 345-pound road manager, rick only had this to say: “you wanted the life of a rock star!”. paul, jim and I real That this was one situation we were going to have to get out of ourselves.

We convened a hasty conference in the hotel lobby. paul suggested contacting our national tour promoter in sao paulo, but we remembered that he was in recife with faith no more, who had just arr For their brazilian tour. we thought about contacting our brazilian record company in rio, but they weren’t home. our ever-diligent american manager was arranging help of numerous forms, but he N new york, and just too far away to get anything moving in time.

And there were 6000 kids in curitiba who just wouldn’t understand.

We knew it was time for action. paul went up to the prs guys and invited them into the bar to discuss it like civilized men over a few brazilian drinks, offering each of them a cigar on his way. Amused prs heavies seemed to like the idea of a few free drinks, even if they knew they would never give us our bus back. when paul winked at jim and I on his way in, we went into action.

I stole off to my room to prepare while jim went into action. creeping carefully through a service duct, he managed to gain a vantage point some three meters above the bus, and dropped carefully The roof. after using his all-purpose swiss army knife (affectionately known as the “skit knife”) to jimmy open the roof hatch, he went through the darkened inside of the bus and remo He inside engine service panel. using some spare electronic parts he found while on an island in the amazon, he wired the entire bus for remote control, not unlike a remote control toy car.

At this point, he asked himself “now how shall I get out of here? !? “

Paul was having difficulties of his own.

“couldn’t you see your way clear to letting us fulfill our contractual obligations in curitiba? think of the kids!”

Through our translator, fabio, the prs man, aldo, said:

no. you americans think you own the world. hah! we’ll burn down our rain forest if we damn well please. we need room for cows!!! we want a mcdonald’s on every… oh, sorry, yes anyway, no. Ed 40% of your concert receipts to give to david bowie,” he said, winking to the local promoter, phillipe.

As paul continuted this elaborate distraction, jim effected an escape from the heavily guarded bus by crawling down into the cargo bay, cutting a hole in the floor with the swiss army knife’s ar Der, slipping into the manhole cover situated under the bus, and walking up to the hotel’s basement from there. jim called up to me in my room and gave the signal. we were now to meet at the bac Rance, with our tech guys. but first, paul would need some help getting away from his unwelcome guests, as things were getting ugly.

“he says he has lost his patience, and that he can think of other ways of extracting payment from you kurt and jim physically,” our trembling interpreter said.

The moment had come. jim began operating the bus from his back entrance vantage point. as the remote-controlled bus lurched towards the parking lot exit, the superstitious security youths fled i Ror. paul was pulling anxiously on his collar as the prs man began describing his collection of world war ii nazi ceremonial knives when a sudden crash split the tableau.

Jim had purchased me the gift of a complete black ninja stealth assassin outfit in aracaju. I had been gearing up and crawling through the air conditioning ducts all this time. as I crashed thro He cheap imitation-styrofoam hung ceiling tiles, skates first, I flashed ninja stars all about me. in the ensuing panic, paul escaped to the pre-arranged bus pick-up point. unfortunately, my ska Ere a poor choice of foot gear for escaping over the broken glass of the table I had landed on. were it not for the confusion and the ninja-star-inflicted-wounds delivered to the bad guys, I wou Ve been set upon while floundering on the glass-strewn carpet. as it happened, however, I leapt through the open door of the careening bus as it departed the city of maringa forever.

If only we had managed to get our equipment in the bus, too…

Every word of this story is true.

Имя трэка CLOAD «Q» альбома Information Retrieved Pt. B — это команда загрузки файла Q в Бейсике TRS-80, персонального компьютера начала 80-ых. Как видно, инди-группа Pinback зачем-то уместила на альбоме игру для давно устаревшего компьютера.

В ранние годы распространения персональной компьютерной техники звук для записи кассет ZX Spectrum вещался даже по телевидению. Встречались и трэки, целиком являющиеся программами, и если это были альбомы на виниле, их нужно было переписать на кассету. Чаще всего этим приемом пользовались коллективы из Великобритании.

К примеру, шестой трэк британских изданий альбома XL1 Пита Шелли содержал пульсации звуков, которые, будучи загруженными в «Спектрум», являли собой рудиментарную графику и тексты песен, воспроизводившиеся синхронно с проигрыванием альбома. Для таких же информационных целей служил трэк Hectic Electric с альбома New Anatomy группы Inner City Unit: программа содержала расписание выступлений, описание коллектива, трэков и т.д.

Thompson Twins выпустили на виниле целую видеоигру. Это типичный текстовый квест, который вряд ли будет интересен людям, никогда не оставлявшим на тетрадном листке карту ходов после часов игры.

Сингл Camouflage Криса Сиви включал созданную музыкантом ужасненькую игрушку Flying Train. Она была примечательна лишь своими взрывами. Крис также написал невключенную в альбом игру The Biz, являющуюся симулятором успешной музыкальной группы, испытывающей бурный карьерный рост.

Наиболее ироничное послание для ZX Spectrum создала шотландская группа Urusei Yatsura: программа просто выводила сообщение «Славьте сатану». В коде также содержались комментарии «Привет, Ник, Робин у вас?», «Сатанинское Послание №3 от Жреца Иуды», «Что грустней: а) находить это б) писать это».

Так или иначе, но музыканты прошлых лет очень много экспериментировали над своими поклонниками, чего сегодня, к сожалению, наблюдается меньше.

Бесплатные VST анализаторы спектра |

Всем привет, сегодня представляем вашему вниманию небольшой набор из анализаторов спектра для мониторинга звука ваших инструментов и эффектов.

Важнейшим этапом в обработке является анализ сигнала. Анализатор спектра — это прибор как раз позволяющий «визуализировать» звук, и помогающий обнаружить как частотные конфликты так и другие неточности. Каждый раз, когда любой аудио-сигнал поступает в анализатор, программа работает и строит график, который отображает частотную характеристику сигнала, равно как и громкость каждой отдельно взятой частоты.
Но ни в коем случае не стоит забывать про свои уши, ведь можно пойти по ложному пути долго занимаясь разглядыванием графиков. Главное помните, слух — наше все.

SPAN от Voxengo

SPAN высокоточный, не требовательный к ресурсам спектральный анализатор от отечественного программиста Алексея Ванеева. Плагин имеет хорошо продуманный и нереально удобный интерфейс, с возможностью изменения масштаба окна. Спектральный анализатор работает в режиме реального времени и использует алгоритм основанный на быстрых преобразованиях Фурье (алгоритм позволяющий сократить время спектрального анализа). В целом это очень качественный и удобный анализатор с достаточным количеством настроек для отображения данных, и что не мало важно бесплатный.

Скачать можно по ссылке: SPAN

FreqAnalyst от Blue Cat Audio

Blue Cat’s FreqAnalyst это анализатор спектра с высокой степенью разрешения для полного контроля над анализом содержимого вашего аудио сигнала. Его гибко настраиваемый пользовательский интерфейс с функцией «прозрачности» позволяет полностью интегрироваться в вашем аудио приложении, проверить спектр и не закрывая поместить позади. Специально разработанная система определения порога входящего сигнала, поможет вам с легкостью определится с важными частями спектра. Либо вы можете с увеличением масштаба дисплея проверить только интересующую вас часть на графике.

Скачать можно по ссылке: Blue Cat’s Freq Analyst

SSpectrumAnalyzer Free от SIR Audio Tools

SpectrumAnalyzer Free бесплатный многоканальный спектра анализатор с возможностью визуализации сигнала с двух звуковых дорожек. Он показывает соотношение громкости и частоты звука, гармоники, ширину полос, а также преобладающие частоты.
Плагин в реальном времени может произвести анализ двух источников сигнала рядом друг с другом, что будет крайне полезно при настройке эквализации в случае обнаружения конфликтующих частот. Анализатор также включает в себя аналоговое отображение, FFT и позволяет пользователю настроить мониторинг пиков, время задержки эквализации и анализ RMS.

Скачать можно по ссылке: Spectrum Analyzer Free

Sonogram SG-1 от ag-works

Sonogram SG-1 быстрый и подробный спектральный анализ в реальном времени.
Плагин немного отличается от других анализаторов, и является на самом деле сонограммой (она же спектрограмма), но по сути это просто другой тип анализатора спектра. Попробуйте воспользоваться им при анализе ваших последних миксов, например, чтобы проконтролировать очень высокие частоты.

Скачать можно по ссылке: Sonogram SG-1

The Seeker от Himiltungl Labs

Himiltungl Labs The Seeker быстрый и динамический анализатор спектра, с безумным расширением вплоть до 1/192 октав. Двойной график отобразит динамику и амплитуду одновременно, а гибкое время интеграции в пределах 10 — 500 мс отлично подойдет для различных типов материала. Плагин оптимизирован для более низкого использования ресурсов ЦП, имеет возможность изменения размера, и позволяет сделать минимальный пользовательский интерфейс.

Скачать можно по ссылке: The Seeker

#free #analyzer #spectre #бесплатные_программы