Классификация сигналов головного мозга для нейрокомпьютерного интерфейса

Вернуть возможность движения людям, потерявшим конечности или утратившим способность двигаться – одна из актуальных задач мирового медицинского сообщества. Однако прежде чем заставить двигаться руку парализованного пациента или протез, необходимо классифицировать сигналы головного мозга для нейрокомпьютерного интерфейса.

Последний представляет собой систему, созданную для обмена информацией между мозгом и цифровым устройством, чтобы управлять моторикой. Именно нейрокомпьютерный интерфейс позволит пациентам обрести движение.

С целью исследования и подготовки информации для создания нейрокомпьютерного интерфейса, R&D отдел компании Azoft совместно с компанией Expasoft и Сергеем Алямкиным принял участие в конкурсе “Grasp-and-Lift EEG Detection” от Kaggle. Согласно условиям конкурса, перед участниками стояла задача за 2 месяца — с наименьшей вероятностью ошибки — определить и систематизировать различные движения правой руки, используя при этом ЭЭГ (электроэнцефалограмму) или запись электрической активности головного мозга.

Для реализации задачи нам потребовалось создать модель, которая позволит классифицировать движения правой руки по данным электроэнцефалограммы. Работа над моделью состояла из нескольких этапов: изучения биологических аспектов задачи, препроцессинга данных, выделения характерных признаков сигнала и выбора алгоритма машинного обучения.

Биологические аспекты проекта

Изучив существующие данные о головном мозге, необходимые для нашей задачи, мы выяснили, что:

• Во-первых, кора больших полушарий мозга играет ведущую роль в мозговой организации психических процессов.
• Во-вторых, существуют функционально специализированные участки коры головного мозга, отвечающие за различные органы чувств. В рамках нашей задачи нас интересовали сенсомоторные центры.

  Сенсомоторные центры мозга человека (по данным научных исследований)

  В соответствии с рисунком, к сенсомоторным центрам мозга человека относятся: 1) корень языка; 2) гортань; 3) нёбо; 4) нижняя челюсть; 5) язык; 6) нижняя часть лица; 7) верхняя часть лица; 8) шея; 9) пальцы руки; 10) кисть; 11) рука от плеча до кисти; 12) плечо; 13) лопатка; 14) грудь; 15) живот; 16) голень; 17) колено; 18) бедро; 19) пальцы ноги; 20) большой палец ноги; 21) четыре пальца ноги; 22) стопа; 23) лицо; 24) глотка. Между синей и красной линиями лежат моторные центры коры, а между красной и зелёной линиями – сенсомоторные.

• Наконец, основная мозговая активность, связанная с движением руки, находится в диапазоне от 7 до 30 Гц.

Препроцессинг данных

Следующим шагом нашей команды стала подготовка данных, в ходе которой мы осуществили фильтрацию и децимацию данных. К основным объектам изучения в сигнале электроэнцефалограммы относятся движение глаз, движение электродов, сокращения мышц головы и сердца, сетевая помеха в 50-60 Гц. Помехи, вызванные движением глаз, электродов и мышц, в сравнении с полезным сигналом, располагаются в области более низких частот – от 0,1 Гц до 6 Гц. Поэтому было решено использовать полосовой фильтр с полосой пропускания от 7 до 30 Гц. Важно, чтобы цифровая фильтрация вносила наименьшие искажения в сигнал, поэтому был выбран фильтр с конечной импульсной характеристикой.

Что касается децимации – понижения частоты дискретизации данных, то её понизили с 500 до 62,5 Гц. Поскольку максимальная полезная частота составляет 30 Гц, то, учитывая теорему Найквиста, частота дискретизации должна быть больше 60 Гц.

Выявление признаков сигнала головного мозга

Мы использовали несколько разных методов выделения характерных признаков сигнала. Это было необходимо для сокращения количества входных данных, исключения лишнего и повышения точности классификации сигналов головного мозга. Среди испробованных методов были: метод главных компонент, выбор электродов с точки зрения биологии и вейвлет-преобразование.

В итоге пришлось отказаться от метода главных компонент, потому что при вычислении обязательной в данном способе матрицы с помощью SVD (singular value decomposition – сингулярного разложения) предполагается, что глубинные сигналы мозга взаимно ортогональны. А они, судя по результатам экспериментов, не взаимно ортогональны. Кроме этого, количество датчиков в нашем эксперименте сводилось к 32, что не является достаточным для хорошей SVD. Для неортогональных сигналов нужно использовать ICA (independent component analysis) – метод независимых компонент. ICA мы не успели попробовать.

При выборе электродов мы опирались на их пространственное расположение. Электроды, с которых предоставлялись данные, на следующем рисунке помечены цифрами от 1 до 32.

Схематическое изображение электродов на поверхности головы

Выбрав нужные электроды, мы решили сосредоточиться на вейвлет-преобразовании в качестве выделения необходимых характерных признаков. Существует негласный принцип выбора вейвлета: вид базовой вейвлет-функции должен быть схожим с характерным обрабатываемым сигналом. Данный способ позволяет анализировать “тонкую” структуру сигналов засчет одновременной локализации и по частоте, и по времени.

Результат вейвлет-преобразования для сигнала EEG

Выбор алгоритма машинного обучения

Выбирая алгоритм машинного обучения, сначала мы решили использовать уже хорошо знакомые нам свёрточные нейронные сети, которые входят в алгоритмы глубинного обучения. Свёрточные нейронные сети – это один из наиболее востребованных вариантов нейронных сетей, который уже зарекомендовал себя с двумерными сигналами (например, изображениями). Однако такие сети могут работать и с одномерными сигналами.

С помощью свёрточной нейронной сети мы выявили, что 4096 отсчётов (до децимации) дают наименьшую вероятность ошибки в конечной модели. Полученная модель позволила нам получить площадь под кривой ROC, равную 0.91983.

Полученная модель, где CL – свёрточный слой, MP – map pooling, FC – полносвязный слой, FM – количество масок с характерными признаками, kernel_x – размер ядра, stride – размер шага.

Вторым исследуемым алгоритмом стали «случайные деревья» или «случайный лес», поскольку на сегодня этот способ является одним из самых популярных в области классификации. Алгоритм состоит из ансамбля решающих деревьев, для каждого из которых из общей выборки генерируется своя выборка. Мы не успели опробовать структуру “вейвлет-преобразование + случайный лес”, поскольку не учли, что вейвлет-преобразование является весьма затратной по времени задачей.

Третьим алгоритмом машинного обучения, выбранным нами для исследования, стали RNN или рекуррентные нейронные сети. Это нейронные сети, в которых есть обратные связи. Биологические нейронные сети являются рекуррентными. В них есть память, что позволяет не подавать историю сигнала в сеть.

Мы провели множество опытов с рекуррентной нейронной сетью, опробовали разные архитектуры и задержки в обратных связях. Сеть не обучалась. Возникли проблемы с памятью – не удавалось создать сложную сеть с числом слоев более двух. Тогда мы пришли к выводу, что нужно использовать специальный вид нейронных сетей LSTM (Long Short Term Memory). Тем не менее, сложность LSTM алгоритма предполагает гораздо более глубинное исследование, чем позволяли условия конкурса. По этим причинам мы остановились на данном этапе, не получив завершенного результата по LSTM.

Выводы

В результате проведённых опытов наша команда получила высокое качество классификации сигналов головного мозга в процессе движения руки. Благодаря метрике качества “площадь под кривой ROC”, полученной в результате использования свёрточных нейронных сетей, мы убедились в эффективности алгоритмов глубинного обучения в классификации сигналов различного рода.

Это позволяет нам с уверенностью заключить, что свёрточные нейронные сети – один из лучших существующих на сегодня методов машинного обучения для создания нейрокомпьютерного интерфейса. Проще говоря, дайте нам электрические сигналы с вашего мозга, и мы скажем вам, что вы делали.