Зепп Хохрайтер - Sepp Hochreiter

Зепп Хохрайтер
Зепп Хохрайтер 1.jpg
Родившийся (1967-02-14) 14 февраля 1967 г. (возраст 53 года)
Мюльдорф, Западная Германия
НациональностьНемецкий
Альма-матерTechnische Universität München
Научная карьера
ПоляМашинное обучение, биоинформатика
УчрежденияУниверситет Иоганна Кеплера в Линце
Интернет сайтдомашняя страница

Зепп Хохрайтер (родившийся Йозеф Хохрайтер в 1967 г.) - немец специалист в области информатики. С 2018 года возглавляет Институт машинного обучения на Университет Иоганна Кеплера из Линц после того, как с 2006 по 2018 возглавлял Институт биоинформатики. В 2017 году возглавил Технологический институт Линца (LIT) Лаборатория искусственного интеллекта который фокусируется на продвижении исследований искусственный интеллект. Раньше он был на Технический университет из Берлин, на Колорадский университет в Боулдер, а на Технический университет из Мюнхен.

Зепп Хохрайтер внес большой вклад в области машинное обучение, глубокое обучение и биоинформатика. Он разработал долговременная кратковременная память (LSTM), первые результаты которого были представлены в его дипломной работе в 1991 году.[1] Основная статья LSTM появилась в 1997 году.[2] и считается открытием, которое является важной вехой в график машинного обучения. Основу глубокого обучения положил его анализ исчезающий или взрывающийся градиент.[1][3][4] Он способствовал мета-обучение[5] и предлагаемые плоские минимумы[6] как предпочтительные решения обучения искусственные нейронные сети чтобы обеспечить низкий ошибка обобщения. Он разработал новые функции активации для нейронных сетей, таких как экспоненциальные линейные блоки (ELU)[7] или масштабированные ELU (SELU)[8][9] для улучшения обучения. Он способствовал обучение с подкреплением через актерско-критический подход[10] и его метод RUDDER.[11] Он применил бикластеризация методы открытия лекарств и токсикологии. Он продлил опорные векторные машины для обработки ядер, которые не являются положительно определенными с моделью «машины потенциальных опорных векторов» (PSVM), и применил эту модель к выбор функции, особенно к отбору генов для данных микрочипов.[12] Также в области биотехнологии он разработал «Факторный анализ для надежного суммирования микрочипов» (FARMS).[13]Зепп Хохрайтер представил современные тритоны Хопфилда с непрерывными состояниями[14] и применил их к задаче классификации иммунного репертуара.[15]

Помимо своего исследовательского вклада, Зепп Хохрайтер активно работает в своей области: он основал Рабочую группу по биоинформатике в Австрийском компьютерном обществе; он является членом правления различных начинающих компаний в области биоинформатики; он был программным председателем конференции «Исследования и разработки в области биоинформатики»;[16] он является председателем конференции Critical Assessment of Massive Data Analysis (CAMDA ); Он редактор, член программного комитета и рецензент международных журналов и конференций. В качестве преподавателя в Johannes Kepler Linz он основал программу бакалавриата по биоинформатике, которая является трансграничный, двойной градус учебная программа вместе с Южно-Чешский университет в Ческе-Будеевице (Budweis), Чехия. Он также учредил магистерскую программу по биоинформатике, где до сих пор исполняет обязанности декана обоих учебных заведений.

Научный вклад

Долговременная кратковременная память (LSTM)

Зепп Хохрайтер разработал долговременная кратковременная память (LSTM), первые результаты которого были представлены в его дипломной работе в 1991 году.[1] Основная статья LSTM появилась в 1997 году.[2] и считается открытием, которое является важной вехой в график машинного обучения. LSTM решает проблему повторяющиеся нейронные сети (RNN) и глубокие сети, чтобы забыть информацию с течением времени или, что то же самое, через уровни (исчезающий или взрывающийся градиент ).[1][3][4]LSTM учится от обучающих последовательностей для обработки новых последовательностей с целью создания выходных данных (классификация последовательностей) или генерации выходной последовательности (отображение последовательности в последовательность). Нейронные сети с ячейками LSTM решали множество задач в биологическая последовательность анализ, дизайн лекарства, автоматический музыкальная композиция, машинный перевод, распознавание речи, обучение с подкреплением и робототехника.LSTM с оптимизированной архитектурой был успешно применен к очень fastprotein гомология обнаружение без необходимости выравнивание последовательностей.[17]LSTM использовался для изучения алгоритма обучения, то есть LSTM служит машиной Тьюринга, то есть компьютером, на котором выполняется алгоритм обучения. Поскольку машина Тьюринга LSTM является нейронной сетью, она может разрабатывать новые алгоритмы обучения, обучаясь на проблемах обучения. Оказывается, изученные новые методы обучения превосходят те, что разработаны людьми.[18] Сети LSTM используются в Google Транскрипция голоса,[19] Голосовой поиск Google,[20] и Google Allo[21] в качестве базовой технологии для голосового поиска и команд в приложении Google (на Android и iOS ), а также для диктовки на устройствах Android. Также яблоко использовал LSTM в своей функции Quicktype с тех пор, как iOS 10.[22][23]

Современные сети Хопфилда и внимание

Зепп Хохрайтер представил современные сети Хопфилда с непрерывными состояниями вместе с новым правилом обновления и показал, что это эквивалентно механизму внимания трансформатора.[ненадежный источник? ][неудачная проверка ] Новая сеть Хопфилда может хранить в геометрической прогрессии (с размерностью) множество шаблонов, сходится с одним обновлением и имеет экспоненциально малые ошибки поиска. Количество сохраненных шаблонов зависит от скорости сходимости и ошибки поиска.[14]Эта новая современная сеть Хопфилда была применена к задаче классификации иммунного репертуара - множественной проблеме обучения, которая может проложить путь к новым вакцинам и методам лечения, актуальным во время кризиса COVID-19.[15]

Представления глубокого обучения и обучения

Нейронные сети разные типы упрощенных математических моделей биологические нейронные сети как и в человеческий мозг. В нейронные сети с прямой связью (NN) информация движется вперед только в одном направлении: от входного уровня, который получает информацию из среды, через скрытые слои к выходному слою, который поставляет информацию в среду. повторяющиеся нейронные сети (RNN) могут использовать свою внутреннюю память для обработки произвольных последовательностей входных данных. Если сбор данных основан на нейронных сетях, переоснащение снижает способность сети правильно обрабатывать будущие данные. Чтобы избежать переобучения, Зепп Хохрайтер разработал алгоритмы для поиска нейронных сетей низкой сложности, такие как "Flat Minimum Search" (FMS),[6] который ищет «плоский» минимум - большую связную область в пространстве параметров, где сетевая функция постоянна. Таким образом, параметры сети могут быть заданы с низкой точностью, что означает несложную сеть, которая позволяет избежать переобучения. Нейронные сети низкой сложности хорошо подходят для глубокое обучение потому что они контролируют сложность на каждом сетевом уровне и, следовательно, учатся иерархические представления входа.[24][25]Группа Зеппа Хохрайтера представила «экспоненциальные линейные единицы» (ELU), которые ускоряют обучение в глубоких нейронных сетях и приводят к более высокой точности классификации. Подобно выпрямленным линейным единицам (ReLU), негерметичным ReLU (LReLU) и параметризованным ReLU (PReLU), ELU устраняют проблему исчезающего градиента посредством идентичности для положительных значений. Тем не менее, ELU имеют улучшенные характеристики обучения по сравнению с ReLU из-за отрицательных значений, которые приближают среднее значение активаций модуля к нулю. Среднее смещение в сторону нуля ускоряет обучение за счет приближения нормального градиента к единичному естественному градиенту из-за уменьшения эффекта сдвига смещения.[26] Зепп Хохрайтер представил самонормализующиеся нейронные сети (SNN), которые позволяют абстрактно представлять входные данные в сетях прямого распространения на разных уровнях. SNN позволяют избежать проблем, связанных с пакетной нормализацией, поскольку активации по выборкам автоматически сходятся к нулевому значению и единице дисперсии. обучать очень глубокие сети, то есть сети с множеством уровней, (2) использовать новые стратегии регуляризации и (3) очень надежно обучаться на многих уровнях.[8][9] В без присмотра глубокое обучение, генеративные состязательные сети (GAN) очень популярны, поскольку они создают новые изображения, которые более реалистичны, чем изображения, полученные с помощью других генеративных подходов. Сепп Хохрейтер предложил правило обновления двух шкал времени (TTUR) для обучения GAN со стохастическим градиентным спуском на любой дифференцируемой функции потерь. Методы стохастической аппроксимации были использованы для доказательства того, что TTUR сходится к стационарному локальному равновесию по Нэшу. Это первое доказательство сходимости GAN в общем случае. Другой вклад - введение «начальной дистанции Фреше» (FID), которая является более подходящей мерой качества для GAN, чем ранее использовавшаяся начальная оценка.[27][28] Он разработал исправленный факторные сети (RFN)[29][30]эффективно построить очень редкий, нелинейный, многомерные представления ввода. Модели RFN идентифицируют редкие и мелкие события на входе, имеют низкую интерференцию между кодовыми единицами, небольшую ошибку восстановления и объясняют данные. ковариация структура. Обучение RFN - это обобщенный алгоритм чередующейся минимизации, полученный из задний метод регуляризации, который применяет неотрицательные и нормализованные апостериорные средние. RFN очень успешно применялись в биоинформатике и генетике.[31]

Обучение с подкреплением

Зепп Хохрайтер работал в сфере обучение с подкреплением о системах «актер-критик», которые учатся «путем обратного распространения через модель».[10][32] Однако этот подход имеет серьезные недостатки, проистекающие из анализа чувствительности, таких как локальные минимумы, различные нестабильности при обучении онлайн, взрывные и исчезающие градиенты модели мира, ни вклад, ни релевантность вознаграждения не приписываются действиям. Сепп Хохрайтер представил «RUDDER: Разложение возврата для отложенных вознаграждений», предназначен для изучения оптимальных политик для Марковские процессы принятия решений (MDP) с сильно отложенными вознаграждениями. Что касается отложенных вознаграждений, он доказал, что предвзятость оценок ценности действия, усвоенныхвременная разница (TD) корректируются только экспоненциально медленно по количеству шагов задержки. Кроме того, он доказал, что дисперсия оценки ценности действия, полученной с помощью Методы Монте-Карло (MC) увеличивает другие дисперсии оценки, количество которых может экспоненциально расти с увеличением количества шагов задержки. RUDDER решает как экспоненциально медленную коррекцию смещения TD, так и увеличение экспоненциально большого числа дисперсий MC с помощью разложения на возврат. MDP имеет такой же доход для каждого эпизода и политики, что и исходный MDP, но награды перераспределяются по эпизоду. Перераспределение приводит к значительному сокращению задержек с выплатой вознаграждений. В оптимальном случае новый MDP не имеет отложенных вознаграждений и TD беспристрастен. Перераспределенное вознаграждение направлено на отслеживание Q-значений, чтобы в будущем ожидаемое вознаграждение всегда оставалось равным нулю. Следовательно, действие, увеличивающее ожидаемую доходность, получает положительное вознаграждение, а действие, которое уменьшило ожидаемую доходность, получает отрицательное вознаграждение. RUDDER состоит из (I) безопасной стратегии исследования, (II) буфера воспроизведения уроков и (III) LSTM-алгоритма. Метод перераспределения вознаграждения через декомпозицию доходности и обратный анализ вклада.[11] Обе исходный код идемонстрационные видео Исследование может быть улучшено с помощью активных стратегий исследования, которые максимизируют получение информации в будущих эпизодах, что часто связано с любопытством.[33]

Открытие лекарств, прогнозирование целей и токсикология

В фармацевтическая промышленность видит много химические соединения (кандидаты на лекарства) терпят неудачу на поздних этапах разработки лекарств. Эти сбои вызваны недостаточной эффективностью биомолекулярная мишень (целевой эффект), нежелательные взаимодействия с другими биомолекулы (нецелевые или побочные эффекты) или непредсказуемые токсические эффекты. Методы глубокого обучения и бикластеризации, разработанные Зеппом Хохрайтером, позволили выявить новые целевые и нецелевые эффекты в различных проектах по разработке лекарств.[34] В 2013 году группа Зеппа Хохрайтера победила в подзадаче DREAM по прогнозированию средней токсичности соединений.[35] В 2014 году успех Deep Learning был продолжен победой в конкурсе Tox21 Data Challenge. Национальные институты здравоохранения США, FDA и NCATS.[36][37] Цель Tox21 Data Challenge заключалась в том, чтобы правильно предсказать отклонение от цели и токсические эффекты химических веществ из окружающей среды в питательных веществах, бытовых товарах и лекарствах. Эти впечатляющие успехи показывают, что глубокое обучение может превосходить другие виртуальный просмотр методы.[38][39] Кроме того, группа Хохрайтера работала над выявлением синергических эффектов комбинаций лекарств.[40]

Бикластеризация

Зепп Хохрайтер разработал «Факторный анализ для бикластерного приобретения» (FABIA)[41] за бикластеризация это одновременно кластеризация строки и столбцы матрица. Бикластер в транскриптомных данных - это пара из набора генов и набора образцов, для которых гены похожи друг на друга в образцах и наоборот. Например, при разработке лекарств действие соединений может быть одинаковым только на подгруппу генов. FABIA - это мультипликативная модель, которая предполагает реалистичное негауссовское распределение сигнала с тяжелые хвосты и использует хорошо изученные методы выбора модели, такие как вариационный подход в байесовской структуре. FABIA поставляет информационное содержание каждого бикластера, чтобы отделить ложные бикластеры от истинных бикластеров. Зепп Хохрайтер был редактором справочника по бикластеризации, в котором представлены наиболее актуальные алгоритмы бикластеризации, типичные приложения бикластеризации, визуализации и оценки бикластеров, а также программное обеспечение на языке R.[42]

Опорные векторные машины

Опорные векторные машины (SVM) являются контролируемое обучение методы, используемые дляклассификация и регрессивный анализ распознавая закономерности и закономерности в данных. Стандартные SVM требуют положительно определенного ядра для генерации квадрата матрицы ядра из данных. Зепп Хохрайтер предложил "Машину потенциальных опорных векторов" (PSVM),[43] который может быть применен к неквадратным ядерным матрицам и может использоваться с ядрами, которые не являются положительно определенными. Для выбора модели PSVM он разработал эффективный последовательная минимальная оптимизация алгоритм.[44] PSVM сводит к минимуму новую цель, которая обеспечивает теоретические границы ошибки обобщения и автоматически выбирает признаки, которые используются для классификации или регрессии.

Выбор функции

Зепп Хохрайтер применил PSVM к выбор функции, особенно к отбору генов для данных микрочипов.[12][45][46]PSVM и стандартные машины векторов поддержки были применены для извлечения ориентировочных функций.спиральная катушка олигомеризация.[47]

Генетика

Зепп Хохрайтер разработал «HapFABIA: идентификация очень коротких сегментов идентичности по происхождению, характеризующихся редкими вариантами в больших данных секвенирования».[48] для обнаружения коротких сегментов личность по происхождению. А ДНК сегмент идентичны по состоянию (СРК) у двух или более человек, если у них одинаковые нуклеотид последовательности в этом сегменте. Сегмент IBS идентичен по происхождению (IBD) у двух или более людей, если они унаследованный это из общего предок, то есть сегмент имеет одно и то же предковое происхождение у этих особей. HapFABIA идентифицирует сегменты IBD в 100 раз меньше, чем современные методы: 10 Кбит / с для HapFABIA против 1 Мбит / с для современных методов. HapFABIA адаптирована к секвенирование следующего поколения данные и использует редкие варианты для обнаружения IBD, но также работает для микрочип генотипирование данные. HapFABIA позволяет улучшить эволюционная биология,популяционная генетика, и ассоциативные исследования потому что он разложил геном на короткие сегменты IBD, которые описывают геном с очень высоким разрешением. HapFABIA использовался для анализа разделения ВЗК между Люди, Неандертальцы (Неандертальцы ), и Денисовцы.[49]

Секвенирование нового поколения

Исследовательская группа Зеппа Хохрайтера является членом консорциума SEQC / MAQC-III, деятельность которого координируется Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов США. Этот консорциум исследовал платформы Illumina HiSeq, Life Technologies SOLiD и Roche 454 в нескольких лабораториях на предмет эффективности секвенирования РНК (RNA-seq).[50] В рамках этого проекта были определены стандартные подходы к оценке, составлению отчетов и сравнению технических характеристик экспериментов по дифференциальной экспрессии генов в масштабе генома.[51] Для анализа структурная вариация из ДНК, Исследовательская группа Зеппа Хохрейтера предложила «cn.MOPS: смесь Пуассонов для обнаружения вариаций числа копий в данных следующего поколения с низким уровнем ложных открытий».[52]для обнаружения варианты числа копий в данных секвенирования следующего поколения. cn.MOPS оценивает количество локальных копий ДНК, подходит как для секвенирование всего генома и exom секвенирование, и может применяться к диплоид и гаплоидный геномы, но и полиплоид геномы. Для определения дифференциал выражен стенограммы в РНК-последовательность (РНК секвенирования) данных, группа Зеппа Хохрейтера предложила «DEXUS: определение дифференциальной экспрессии в исследованиях РНК-Seq с неизвестными условиями».[53] В отличие от других методов RNA-seq, DEXUS может обнаруживать дифференциальную экспрессию в данных RNA-seq, для которых условия образца неизвестны и для каких биологических копирует недоступны. в группе Зеппа Хохрайтера данные секвенирования были проанализированы, чтобы получить представление о ремоделирование хроматина. Реорганизация ячейки хроматин структура была определена с помощью секвенирования следующего поколения покоящихся и активированных Т-клетки. Анализ этих данных секвенирования хроматина Т-клеток выявил GC-богатые длинныенуклеосома -свободные области, являющиеся горячими точками ремоделирования хроматина.[54] Для целевых панелей секвенирования следующего поколения в клинической диагностике, в частности рака, группа Хохрайтера разработала panelcn.MOPS.[55]

Предварительная обработка и обобщение микрочипов

Зепп Хохрайтер разработал «Факторный анализ для надежного суммирования микрочипов» (FARMS).[13] FARMS был разработан для предварительная обработка и обобщение высокая плотность олигонуклеотид ДНК-микрочипы на уровне зонда для анализа РНК экспрессия гена. FARMS основана на факторный анализ модель, которая оптимизирована в Байесовский рамки за счет максимизации апостериорная вероятность. На добавленных Affymetrix и других контрольных данных FARMS превзошел все другие методы. Важной особенностью FARMS являются информационные / неинформативные (I / NI) звонки.[56] Вызов I / NI - это метод байесовской фильтрации, который отделяет дисперсию сигнала от дисперсии шума. Вызов I / NI предлагает решение основной проблемы высокой размерности при анализе данных микрочипа путем выбора генов, которые измеряются с высоким качеством.[57][58] FARMS был расширен до cn.FARMS[59]для обнаружения ДНК структурные варианты, такие как варианты числа копий с низким коэффициент ложного обнаружения.

Рекомендации

  1. ^ а б c d Хохрайтер, С. (1991). Untersuchungen zu Dynamischen Neuronalen Netzen (PDF) (дипломная работа). Технический университет Мюнхена, Институт компьютерных наук.
  2. ^ а б Hochreiter, S .; Шмидхубер, Дж. (1997). «Кратковременная долговременная память». Нейронные вычисления. 9 (8): 1735–1780. Дои:10.1162 / neco.1997.9.8.1735. PMID  9377276. S2CID  1915014.
  3. ^ а б Хохрайтер, С. (1998). «Проблема исчезающего градиента при обучении рекуррентных нейронных сетей и решения проблем». Международный журнал неопределенности, нечеткости и систем, основанных на знаниях. 06 (2): 107–116. Дои:10.1142 / S0218488598000094. ISSN  0218-4885.
  4. ^ а б Hochreiter, S .; Bengio, Y .; Frasconi, P .; Шмидхубер, Дж. (2000). Kolen, J. F .; Кремер, С. К. (ред.). Градиентный поток в повторяющихся сетях: трудность изучения долгосрочных зависимостей. Полевое руководство по динамическим рекуррентным сетям. Нью-Йорк: IEEE Press. С. 237–244. CiteSeerX  10.1.1.24.7321.
  5. ^ Hochreiter, S .; Младший, A. S .; Конвелл П. Р. (2001). Учимся учиться с помощью градиентного спуска (PDF). Конспект лекций по информатике - ICANN 2001. Конспект лекций по информатике. 2130. С. 87–94. CiteSeerX  10.1.1.5.323. Дои:10.1007/3-540-44668-0_13. ISBN  978-3-540-42486-4. ISSN  0302-9743.
  6. ^ а б Hochreiter, S .; Шмидхубер, Дж. (1997). «Плоские минимумы». Нейронные вычисления. 9 (1): 1–42. Дои:10.1162 / neco.1997.9.1.1. PMID  9117894. S2CID  733161.
  7. ^ Клеверт, Д.-А .; Unterthiner, T .; Хохрайтер, С. (2016). «Быстрое и точное глубокое сетевое обучение с помощью экспоненциальных линейных единиц (ELU) [опубликовано в качестве доклада конференции на ICLR 2016]». arXiv:1511.07289v5 [cs.LG ].
  8. ^ а б Klambauer, G .; Unterthiner, T .; Mayr, A .; Хохрайтер, С. (2017). «Самонормализующиеся нейронные сети». arXiv:1706.02515 [cs.LG ].
  9. ^ а б Klambauer, G .; Unterthiner, T .; Mayr, A .; Хохрайтер, С. (2017). Саморегулирующиеся нейронные сети. Достижения в системах обработки нейронной информации 31.
  10. ^ а б Хохрайтер, С. (1991). Implementierung und Anwendung eines neonalen Echtzeit-Lernalgorithmus für reaktive Umgebungen (PDF) (Отчет). Технический университет Мюнхена, Институт компьютерных наук.
  11. ^ а б Arjona-Medina, J.A .; Gillhofer, M .; Widrich, M .; Unterthiner, T .; Хохрайтер, С. (2018). «РУЛЬ: Разложение возврата для отложенного вознаграждения». arXiv:1806.07857 [cs.LG ].
  12. ^ а б Hochreiter, S .; Обермайер, К. (2006). Нелинейный выбор признаков с помощью машины потенциальных опорных векторов. Извлечение признаков, исследования нечеткости и мягких вычислений. С. 419–438. Дои:10.1007/978-3-540-35488-8_20. ISBN  978-3-540-35487-1.
  13. ^ а б Hochreiter, S .; Клеверт, Д.-А .; Обермайер, К. (2006). «Новый метод обобщения данных уровня зонда affymetrix». Биоинформатика. 22 (8): 943–949. Дои:10.1093 / биоинформатика / btl033. PMID  16473874.
  14. ^ а б Ramsauer, H .; Schäfl, B .; Lehner, J .; Seidl, P .; Widrich, M .; Gruber, L .; Holzleitner, M .; Павлович, М .; Sandve, G.K .; Greiff, V .; Kreil, D .; Копп, М .; Klambauer, G .; Brandstetter, J .; Хохрайтер, С. (2020). «Hopfield Networks - это все, что вам нужно». arXiv:2008.02217 [cs.NE ].
  15. ^ а б Widrich, M .; Schäfl, B .; Ramsauer, H .; Павлович, М .; Gruber, L .; Holzleitner, M .; Brandstetter, J .; Sandve, G.K .; Greiff, V .; Hochreiter, S .; Кламбауэр, Г. (2020). "Современные сети Хопфилда и внимание к классификации иммунного репертуара". arXiv:2007.13505 [cs.LG ].
  16. ^ Hochreiter, S .; Вагнер, Р. (2007). Исследования и разработки в области биоинформатики. Конспект лекций по информатике. 4414. Дои:10.1007/978-3-540-71233-6. ISBN  978-3-540-71232-9. ISSN  0302-9743.
  17. ^ Hochreiter, S .; Heusel, M .; Обермайер, К. (2007). «Быстрое определение гомологии белков на основе модели без выравнивания». Биоинформатика. 23 (14): 1728–1736. Дои:10.1093 / биоинформатика / btm247. PMID  17488755.
  18. ^ Hochreiter, S .; Младший, A. S .; Конвелл П. Р. (2001). Учимся учиться с помощью градиентного спуска (PDF). Конспект лекций по информатике - ICANN 2001. Конспект лекций по информатике. 2130. С. 87–94. CiteSeerX  10.1.1.5.323. Дои:10.1007/3-540-44668-0_13. ISBN  978-3-540-42486-4. ISSN  0302-9743.
  19. ^ «Нейронные сети, лежащие в основе транскрипции Google Voice».
  20. ^ «Голосовой поиск Google: быстрее и точнее».
  21. ^ "Общайтесь с Allo умнее".
  22. ^ «Машины Apple тоже могут учиться». Информация.
  23. ^ Рейнджер, Стив. «iPhone, AI и большие данные: вот как Apple планирует защитить вашу конфиденциальность - ZDNet».
  24. ^ Hochreiter, S .; Шмидхубер, Дж. (1999). «Извлечение признаков с помощью LOCOCODE». Нейронные вычисления. 11 (3): 679–714. Дои:10.1162/089976699300016629. ISSN  0899-7667. PMID  10085426. S2CID  1642107.
  25. ^ Hochreiter, S .; Шмидхубер, Дж. (1999). Разделение источников как побочный продукт регуляризации. Достижения в системах обработки нейронной информации 12. С. 459–465.
  26. ^ Клеверт, Д.-А .; Unterthiner, T .; Хохрайтер, С. (2016). «Быстрое и точное глубокое сетевое обучение с помощью экспоненциальных линейных единиц (ELU) [опубликовано в качестве доклада конференции на ICLR 2016]». arXiv:1511.07289v5 [cs.LG ].
  27. ^ Heusel, M .; Ramsauer, H .; Unterthiner, T .; Nessler, B .; Klambauer, G .; Хохрайтер, С. (2017). «Сети GAN, обученные правилом обновления двух шкал времени, сходятся к локальному равновесию по Нэшу». arXiv:1706.08500 [cs.LG ].
  28. ^ Heusel, M .; Ramsauer, H .; Unterthiner, T .; Nessler, B .; Klambauer, G .; Хохрайтер, С. (2017). Сети GAN, обученные с помощью правила обновления двух шкал времени, сходятся к локальному равновесию по Нэшу. Достижения в системах обработки нейронной информации 31.
  29. ^ Клеверт, Д.-А .; Mayr, A .; Unterthiner, T .; Хохрайтер, С. (2015). «Ректифицированные факторные сети». arXiv:1502.06464v2 [cs.LG ].
  30. ^ Клеверт, Д.-А .; Mayr, A .; Unterthiner, T .; Хохрайтер, С. (2015). Ректифицированные факторные сети. Достижения в системах обработки нейронной информации 29. arXiv:1502.06464.
  31. ^ Клеверт, Д.-А .; Unterthiner, T .; Повысил, Г .; Хохрайтер, С. (2017). «Ректифицированные факторные сети для бикластеризации данных omics». Биоинформатика. 33 (14): i59 – i66. Дои:10.1093 / биоинформатика / btx226. ЧВК  5870657. PMID  28881961.
  32. ^ Шмидхубер, Дж. (1990). Делаем мир дифференцируемым: об использовании полностью рекуррентных нейронных сетей с самоконтролем для динамического обучения с подкреплением и планирования в нестационарных средах (PDF) (Технический отчет). Технический университет Мюнхена, Институт компьютерных наук. ФКИ-126-90 (доработанный).
  33. ^ Storck, J .; Hochreiter, S .; Шмидхубер, Дж. (1995). Сбор информации на основе подкрепления в недетерминированных средах (PDF). Международная конференция по искусственным нейронным сетям. С. 159–164.
  34. ^ Verbist, B .; Klambauer, G .; Vervoort, L .; Talloen, W .; Шкеды, З .; Thas, O .; Бендер, А .; Göhlmann, H.W.H .; Хохрайтер, С. (2015). «Использование транскриптомики для оптимизации потенциальных клиентов в проектах по открытию лекарств: уроки, извлеченные из проекта QSTAR». Открытие наркотиков сегодня. 20 (5): 505–513. Дои:10.1016 / j.drudis.2014.12.014. ISSN  1359-6446. PMID  25582842.
  35. ^ Eduati, F .; Mangravite, L.M .; Wang, T .; ...; Hochreiter, S .; ...; Столовицкий, Г .; Xie, Y .; Саез-Родригес, Дж. (2015). «Прогнозирование реакции населения на токсичные соединения путем совместного соревнования». Природа Биотехнологии. 33 (9): 933–940. Дои:10.1038 / nbt.3299. ISSN  1087-0156. ЧВК  4568441. PMID  26258538.CS1 maint: числовые имена: список авторов (связь)
  36. ^ «Токсикология в вызове данных 21 века».
  37. ^ Mayr, A .; Klambauer, G .; Unterthiner, T .; Хохрайтер, С. (2016). «DeepTox: прогнозирование токсичности с использованием глубокого обучения». Границы науки об окружающей среде. 3 (80). Дои:10.3389 / fenvs.2015.00080.
  38. ^ Unterthiner, T .; Mayr, A .; Klambauer, G .; Steijaert, M .; Ceulemans, H .; Wegner, J. K .; И Хохрайтер, С. (2014) «Глубокое обучение как возможность виртуального просмотра». Семинар по глубокому обучению и репрезентативному обучению (NIPS2014).
  39. ^ Unterthiner, T .; Mayr, A .; Klambauer, G .; И Хохрайтер, С. (2015) «Прогнозирование токсичности с использованием глубокого обучения». ArXiv, 2015.
  40. ^ Preuer, K .; Lewis, R. P. I .; Hochreiter, S .; Бендер, А .; Bulusu, K. C .; Кламбауэр, Г. (2017). «DeepSynergy: прогнозирование синергии противораковых лекарств с помощью Deep Learning». Биоинформатика. 34 (9): 1538–1546. Дои:10.1093 / биоинформатика / btx806. ЧВК  5925774. PMID  29253077.
  41. ^ Hochreiter, S .; Bodenhofer, U .; Heusel, M .; Mayr, A .; Mitterecker, A .; Касим, А .; Хамякова, Т .; Van Sanden, S .; Lin, D .; Talloen, W .; Bijnens, L .; Göhlmann, H. W. H .; Шкеды, З .; Клеверт, Д.-А. (2010). «FABIA: факторный анализ для бикластерного приобретения». Биоинформатика. 26 (12): 1520–1527. Дои:10.1093 / биоинформатика / btq227. ЧВК  2881408. PMID  20418340.
  42. ^ Касим, А .; Шкеды, З .; Kaiser, S .; Hochreiter, S .; Таллоен, В. (2016). Прикладные методы бикластеризации для больших и многомерных данных с использованием R. Chapman & Hall / CRC Biostatistics Series. Нью-Йорк: Taylor & Francis Group, Chapman & Hall. ISBN  9781482208238.
  43. ^ Hochreiter, S .; Обермайер, К. (2006). «Машины опорных векторов для диадических данных». Нейронные вычисления. 18 (6): 1472–1510. CiteSeerX  10.1.1.228.5244. Дои:10.1162 / neco.2006.18.6.1472. PMID  16764511. S2CID  26201227.
  44. ^ Кнебель, Т .; Hochreiter, S .; Обермайер, К. (2008). "Алгоритм SMO для машины потенциальных опорных векторов". Нейронные вычисления. 20 (1): 271–287. CiteSeerX  10.1.1.101.1591. Дои:10.1162 / neco.2008.20.1.271. PMID  18045009. S2CID  10147180.
  45. ^ Hochreiter, S .; Обермайер, К. (2003). «Классификация и выбор признаков на матричных данных с приложением к анализу экспрессии генов». 54-я сессия Международного статистического института. Архивировано из оригинал 25 марта 2012 г.
  46. ^ Hochreiter, S .; Обермайер, К. (2004). «Выбор гена для данных микрочипов». Ядерные методы в вычислительной биологии. MIT Press: 319–355. Архивировано из оригинал 25 марта 2012 г.
  47. ^ Mahrenholz, C.C .; Abfalter, I.G .; Bodenhofer, U .; Volkmer, R .; Хохрайтер, С. (2011). «Сложные сети управляют олигомеризацией по спирали - прогнозирование и профилирование с помощью подхода машинного обучения». Молекулярная и клеточная протеомика. 10 (5): M110.004994. Дои:10.1074 / mcp.M110.004994. ЧВК  3098589. PMID  21311038.
  48. ^ Хохрайтер, С. (2013). «HapFABIA: идентификация очень коротких сегментов идентичности по происхождению, характеризующихся редкими вариантами в больших данных секвенирования». Исследования нуклеиновых кислот. 41 (22): e202. Дои:10.1093 / nar / gkt1013. ЧВК  3905877. PMID  24174545.
  49. ^ Повысил, Г .; Хохрайтер, С. (2014). «Обмен очень короткими сегментами ВЗК между людьми, неандертальцами и денисовцами». bioRxiv  10.1101/003988.
  50. ^ Консорциум SEQC / MAQC-III (сентябрь 2014 г.). «Комплексная оценка точности, воспроизводимости и информационного содержания РНК-seq Консорциумом контроля качества секвенирования». Природа Биотехнологии. 32 (9): 903–914. Дои:10.1038 / nbt.2957. ЧВК  4321899. PMID  25150838.
  51. ^ С. А. Манро, С. П. Лунд, П. С. Пайн, Х. Биндер, Д.-А. Клеверт, А. Конеса, Дж. Допазо, М. Фасолд, С. Хохрайтер, Х. Хонг, Н. Джафари, Д. П. Крейл, П. П. Лабадж, С. Ли, Ю. Ляо, С. М. Лин, Дж. Михан, К. Э. Мейсон, Дж. Сантойо-Лопес, Р. А. Сеттерквист, Л. Ши, В. Ши, Г. К. Смит, Н. Стралис-Павезе, З. Су, В. Тонг, К. Ван, Дж. Ван, Дж. Сюй, З. Е, Ю. Ян, Ю. Ю. И М. Салит (2014). «Оценка технических характеристик в экспериментах по дифференциальной экспрессии генов с использованием смесей контрольных соотношений внешней добавленной РНК». Nature Communications. 5: 5125. arXiv:1406.4893. Bibcode:2014 НатКо ... 5.5125 млн. Дои:10.1038 / ncomms6125. PMID  25254650. S2CID  19814583.CS1 maint: несколько имен: список авторов (связь)
  52. ^ Klambauer, G .; Schwarzbauer, K .; Mayr, A .; Клеверт, Д.-А .; Mitterecker, A .; Bodenhofer, U .; Хохрайтер, С. (2012). «Cn.MOPS: смесь Пуассона для обнаружения вариаций числа копий в данных секвенирования следующего поколения с низким уровнем ложного обнаружения». Исследования нуклеиновых кислот. 40 (9): e69. Дои:10.1093 / нар / gks003. ЧВК  3351174. PMID  22302147.
  53. ^ Klambauer, G .; Unterthiner, T .; Хохрайтер, С. (2013). «DEXUS: Определение дифференциальной экспрессии в исследованиях RNA-Seq с неизвестными условиями». Исследования нуклеиновых кислот. 41 (21): e198. Дои:10.1093 / nar / gkt834. ЧВК  3834838. PMID  24049071.
  54. ^ Schwarzbauer, K .; Bodenhofer, U .; Хохрайтер, С. (2012). Кэмпбелл, Морей (ред.). «Полногеномное ремоделирование хроматина, идентифицированное в GC-богатых длинных областях, свободных от нуклеосом». PLOS ONE. 7 (11): e47924. Bibcode:2012PLoSO ... 747924S. Дои:10.1371 / journal.pone.0047924. ЧВК  3489898. PMID  23144837.
  55. ^ Повысил, Г .; Цика, А .; Vogt, J .; Haunschmid, V .; Haunschmid, L .; Zschocke, J .; Klambauer, G .; Hochreiter, S .; Виммер, К. (2017). "panelcn.MOPS: Определение числа копий в целевых данных панели NGS для клинической диагностики". Человеческая мутация. 38 (7): 889–897. Дои:10.1002 / humu.23237. ЧВК  5518446. PMID  28449315.
  56. ^ Talloen, W .; Клеверт, Д.-А .; Hochreiter, S .; Amaratunga, D .; Bijnens, L .; Kass, S .; Гольманн, Х. В. Х. (2007). «I / NI-призывы к исключению неинформативных генов: высокоэффективный инструмент фильтрации данных микрочипов». Биоинформатика. 23 (21): 2897–2902. Дои:10.1093 / биоинформатика / btm478. PMID  17921172.
  57. ^ Talloen, W .; Hochreiter, S .; Bijnens, L .; Касим, А .; Шкеды, З .; Amaratunga, D .; Гольманн, Х. (2010). «Фильтрация данных из высокопроизводительных экспериментов на основе надежности измерения». Труды Национальной академии наук. 107 (46): E173 – E174. Bibcode:2010PNAS..107E.173T. Дои:10.1073 / pnas.1010604107. ЧВК  2993399. PMID  21059952.
  58. ^ Касим, А .; Lin, D .; Van Sanden, S .; Клеверт, Д.-А .; Bijnens, L .; Göhlmann, H .; Amaratunga, D .; Hochreiter, S .; Шкеды, З .; Таллоен, В. (2010). «Информативные или неинформативные вызовы для экспрессии генов: латентно-переменный подход». Статистические приложения в генетике и молекулярной биологии. 9: Статья 4. Дои:10.2202/1544-6115.1460. PMID  20196754. S2CID  46666329.
  59. ^ Клеверт, Д.-А .; Mitterecker, A .; Mayr, A .; Klambauer, G .; Tuefferd, M .; De Bondt, A.D .; Talloen, W .; Göhlmann, H .; Хохрайтер, С. (2011). «Cn.FARMS: модель скрытых переменных для обнаружения вариаций числа копий в данных микрочипа с низким уровнем ложного обнаружения». Исследования нуклеиновых кислот. 39 (12): e79. Дои:10.1093 / nar / gkr197. ЧВК  3130288. PMID  21486749.

Источники

внешняя ссылка