Discovery Net - Discovery Net

Discovery Net является одним из самых ранних примеров система научного документооборота позволяя пользователям координировать выполнение удаленных сервисов на основе веб-сервис и сетевые службы (OGSA и Архитектура Open Grid Services ) стандартов. Система была разработана и внедрена в Имперский колледж Лондон в рамках пилотного проекта Discovery Net, финансируемого UK e-Science Program (Электронная наука § Программа для Великобритании ). Многие концепции, впервые предложенные Discovery Net, позже были включены во множество других систем научного рабочего процесса.

История: экспериментальный проект Discovery Net e-Science

Система Discovery Net была разработана в рамках пилотного проекта Discovery Net (2001–2005), исследовательского проекта стоимостью 2 миллиона фунтов стерлингов, финансируемого EPSRC в рамках британской программы электронных наук (Электронная наука § Программа для Великобритании ). Исследования по проекту проводились в г. Имперский колледж Лондон как сотрудничество между факультетами вычислительной техники, физики, биохимии и наук о Земле и инженерии. Поскольку проект был отдельным учреждением, он был уникальным по сравнению с другими 10 пилотными проектами, финансируемыми EPSRC.

Цели проекта Discovery Net заключались в исследовании и решении ключевых проблем в разработке электронная наука платформа для научных открытий на основе данных, генерируемых множеством высокопроизводительных устройств. Первоначально он рассматривал требования из приложений в области наук о жизни, мониторинга геологических опасностей, моделирования окружающей среды и возобновляемых источников энергии. Проект успешно выполнил все поставленные перед ним задачи, включая разработку Discovery Net. рабочий процесс платформа и система документооборота. С годами система развивалась для решения задач во многих других областях, включая биоинформатика, хеминформатика, информатика здоровья, интеллектуальный анализ текста финансовые и бизнес-приложения.

Система научного документооборота

Система Discovery Net, разработанная в рамках проекта, - один из первых примеров научного рабочий процесс системы. Это платформа электронной науки, основанная на модели рабочего процесса, поддерживающей интеграцию распределенных источников данных и аналитических инструментов, что позволяет конечным пользователям извлекать новые знания из устройств, датчиков, баз данных, компонентов анализа и вычислительных ресурсов, которые находятся в Интернете или сетка.

Сервер архитектуры и рабочего процесса

Система основана на многоуровневой архитектуре с сервером рабочего процесса, обеспечивающим ряд вспомогательных функций, необходимых для создания и выполнения рабочего процесса, таких как интеграция и доступ к удаленным вычислительным ресурсам и данным, инструментам совместной работы, средствам визуализации и механизмам публикации. Сама архитектура развивалась на протяжении многих лет с упором на внутреннее устройство сервера рабочих процессов (Ghanem et al. 2009) для поддержки расширяемости для нескольких доменов приложений, а также для различных сред выполнения.

Создание визуального рабочего процесса

Рабочие процессы Discovery Net представлены и хранятся с использованием DPML (языка разметки процесса обнаружения), языка представления на основе XML для графов рабочих процессов, поддерживающего как модель потока данных вычислений (для аналитических рабочих процессов), так и модель потока управления (для оркестровки нескольких несвязанных рабочих процессов) .

Как и большинство современных систем рабочего процесса, система поддерживала визуальный интерфейс перетаскивания, позволяющий пользователям легко создавать свои приложения, соединяя узлы вместе.

В DPML каждый узел в графе рабочего процесса представляет исполняемый компонент (например, вычислительный инструмент или оболочку, которая может извлекать данные из определенного источника данных). Каждый компонент имеет ряд параметров, которые могут быть установлены пользователем, а также количество портов ввода и вывода для приема и передачи данных.

Каждое направленное ребро в графе представляет собой соединение от выходного порта, а именно хвоста ребра, к входному порту, а именно головке ребра. Порт подключается, если есть одно или несколько соединений от / к этому порту. Кроме того, каждый узел в графе предоставляет метаданные, описывающие входные и выходные порты компонента, включая тип данных, которые могут быть переданы компоненту, и параметры сервис, который пользователь может захотеть изменить. Такая информация используется для проверки рабочих процессов и обеспечения значимого связывания компонентов. Связь между портом ввода и вывода действительна только в том случае, если типы совместимы, что строго соблюдается.

Разделение потоков данных и управления

Ключевым вкладом системы является ее четкое разделение между потоками данных и моделями потока управления вычислений в рамках научных рабочих процессов. Это достигается за счет концепции встраивания, позволяющей встраивать полные фрагменты потока данных с блочно-структурированными фрагментами конструкций потока управления. Это приводит к упрощению графиков рабочего процесса по сравнению с другими научными системами рабочего процесса, например Верстак Таверна и Система научного документооборота Kepler а также дает возможность применять формальные методы для анализа их свойств.

Управление данными и несколько моделей данных

Ключевой особенностью конструкции системы была поддержка управления данными в самом механизме рабочего процесса. Это важная особенность, поскольку в научных экспериментах обычно создаются и используются большие объемы разнородных и распределенных наборов данных. Таким образом, система была разработана для поддержки устойчивости и кэширования промежуточных продуктов данных, а также для поддержки масштабируемого выполнения рабочего процесса над потенциально большими наборами данных с использованием удаленных вычислительных ресурсов.

Второй важный аспект системы Discovery Net основан на типизированном языке рабочего процесса и его расширяемости для поддержки произвольных типов данных, определенных пользователем. Типизация данных упрощает разработку научного рабочего процесса рабочего процесса, улучшает оптимизацию рабочих процессов и улучшает проверку ошибок для проверки рабочего процесса. Система включала ряд типов данных по умолчанию для поддержки интеллектуального анализа данных в различных научных приложениях. К ним относятся реляционная модель для табличных данных биоинформатика модель данных (FASTA ) для представления последовательностей генов и противостоящей модели разметки для интеллектуального анализа текста на основе Жучок архитектура.

Каждая модель имеет связанный набор компонентов импорта и экспорта данных, а также специальные средства визуализации, которые интегрируются с общими инструментами импорта, экспорта и визуализации, уже имеющимися в системе. Например, химические соединения, представленные в широко используемых СОЧЕТАХ (Упрощенная спецификация ввода строки молекулярного ввода ) формат может быть импортирован в таблицы данных, где они могут быть адекватно отрисованы с использованием трехмерного представления или его структурной формулы. Реляционная модель также служит базовой моделью данных для интеграции данных и используется для большинства общих задач очистки и преобразования данных.

Приложения

На конференции и выставке ACM SC02 (Supercomputing 2002) система получила награду «Самое инновационное приложение с интенсивным использованием данных» за демонстрацию полностью интерактивного распределенного конвейера аннотации генома для тематического исследования генома малярии. Многие из функций системы (особенности архитектуры, визуальный интерфейс, упрощенный доступ к удаленным веб-службам и сетевым службам и включение хранилища рабочих процессов) в то время считались новинками и с тех пор нашли свое применение в других академических и коммерческих системах. , и особенно функции, найденные в системы управления рабочими процессами биоинформатики.

Помимо первоначального проекта Discovery Net, система использовалась в большом количестве научных приложений, например в проекте BAIR: Биологический атлас инсулинорезистентности, финансируемом Wellcome Trust а также в большом количестве проектов, финансируемых как EPSRC и BBSRC в Соединенном Королевстве. Технология и система Discovery Net также превратились в коммерческие продукты через дочернюю компанию Имперского колледжа InforSense Ltd, которая в дальнейшем расширила и применила систему в широком спектре коммерческих приложений, а также в рамках дальнейших исследовательских проектов, включая SIMDAT, TOPCOMBI, BRIDGE и АРГУГРИД[нужна цитата ].[1]

Смотрите также

Рекомендации

  1. ^ Лондон, главный адрес кампуса: Имперский колледж; Кампус, Южный Кенсингтон; SW7 2AZ, Лондон; карты, тел: +4420 7589 5111 Кампус; в, информация | Об этом сайте | Этот сайт использует файлы cookie | Сообщить о неправильном содержании | Бревно. «Новое партнерство запущено для улучшения ИТ-аналитики | Imperial News | Imperial College London». Имперские новости. Получено 2019-04-25.
  1. Ганем, М; Guo, Y; Роу, А; Вендел, П. (2002). «Услуги по обнаружению знаний на основе гридов для высокопроизводительной информатики». Материалы 11-го Международного симпозиума IEEE по высокопроизводительным распределенным вычислениям. п. 416. Дои:10.1109 / HPDC.2002.1029946. ISBN  0-7695-1686-6.
  2. Журчин, В; Ганем, М; Guo, Y; Köhler, M; Роу, А; Сайед, Дж; Вендел, П. (2002). «Открытие сети». Материалы восьмой международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных - KDD '02. С. 658–63. Дои:10.1145/775047.775145. ISBN  1-58113-567-X.
  3. Джамиль Сайед, Мустафа Ганем, Йике Го. Процессы открытия: представление и повторное использование. Труды Первой универсальной конференции по электронной науке в Великобритании, Шеффилд, Великобритания. Сентябрь 2002 г.
  4. Николаос Гианнадакис, Мустафа Ганем, Йике Го. Информационная интеграция для электронной науки. Труды Первой конференции специалистов по электронной науке в Великобритании, Шеффилд, Великобритания. Сентябрь 2002 г.
  5. Ганем, Мустафа М; Го, Йике; Лодхи, Хума; Чжан, Юн (2002). «Автоматическая классификация научных текстов по локальным образцам». Информационный бюллетень ACM SIGKDD Explorations. 4 (2): 95. Дои:10.1145/772862.772876.
  6. Роу, А; Kalaitzopoulos, D; Осмонд, М; Ганем, М; Го, Y (2003). «Открытая сетевая система для высокопроизводительной биоинформатики». Биоинформатика. 19 Дополнение 1: i225–31. Дои:10.1093 / биоинформатика / btg1031. PMID  12855463.
  7. Альсайрафи, Салман; Эммануил, Филиппия-София; Ганем, Мустафа; Гианнадакис, Николаос; Го, Йике; Калайцопулос, Димитриос; Осмонд, Мишель; Роу, Энтони; Сайед, Джамиль; Вендел, Патрик (2016). «Дизайн Discovery Net: на пути к открытым сетевым сервисам для обнаружения знаний». Международный журнал приложений для высокопроизводительных вычислений. 17 (3): 297. Дои:10.1177/1094342003173003.
  8. Гианнадакис, Николаос; Роу, Энтони; Ганем, Мустафа; Го, И-кэ (2003). «InfoGrid: Обеспечение интеграции информации для открытия знаний». Информационные науки. 155 (3–4): 199–226. Дои:10.1016 / S0020-0255 (03) 00170-1.
  9. Мустафа Ганем, Йике Го, Энтони Роу. Интегрированный анализ данных и текста в поддержку биоинформатики. Труды 3-й Всероссийской конференции по электронной науке AHM 2004, Ноттингем, Великобритания. Сентябрь 2004 г.
  10. Васа Курчин, Мустафа Ганем, Йике Го. Анализ SARS в сетке. Труды 3-й Всероссийской конференции по электронной науке AHM 2004, Ноттингем, Великобритания. Сентябрь 2004 г.
  11. Питер Ау, ​​Васа Курчин, Мустафа Ганем, Николаос Гианнадакис, Йике Го, Мохаммад Джафри, Мишель Осмонд, Энтони Роу, Джамиль Сайед, Патрик Вендел, Юн Чжан. Почему важен интеллектуальный анализ данных на основе гридов? Борьба со стихийными бедствиями в сети: от атипичной пневмонии до оползней. Труды 3-й Всероссийской конференции по электронной науке в Великобритании AHM 2004. Сентябрь 2004 г.
  12. Curcin, V; Ганем, М; Йике Го; Роу, А; Он, W; Хао Пей; Лу Цян; Юаньюань Ли (2004). «Сервисная ИТ-инфраструктура для интегративной системной биологии». Международная конференция IEEE по Услуги Computing, 2004. (SCC 2004). Ход работы. 2004 г.. С. 123–31. Дои:10.1109 / SCC.2004.1357998. ISBN  0-7695-2225-4.
  13. Мустафа Ганем, Васа Курчин, Йике Го, Нил Дэвис, Роб Гайзаускас, Икун Го, Хенк Харкема, Ян Робертс, Джонатан Рэтклифф. GoTag: пример использования общей инфраструктуры электронной науки Великобритании. 4-е совещание всех участников по электронной науке в Великобритании, 2005 г. Сентябрь 2005 г.
  14. Нил Дэвис, Хенк Харкема, Роб Гайзаускас, Икун Го, Мустафа Ганем, Том Барнуэлл, Йике Го, Джонатан Рэтклифф. Три подхода к биомедицинским аннотациям GO-Tagging. Материалы семинара CEUR. Апрель 2006 г.
  15. Ганем, Мустафа; Азам, Набиль; Бонифаций, Майк; Феррис, Джастин (2006). «Рабочие процессы с поддержкой сетей для проектирования промышленных изделий» (PDF). 2006 Вторая международная конференция IEEE по электронной науке и грид-вычислениям (e-Science'06). п. 96. Дои:10.1109 / E-SCIENCE.2006.261180. ISBN  0-7695-2734-5.
  16. Мустафа Ганем, Набиль Азам, Майк Бонифас. Взаимодействие рабочих процессов в грид-системах. Cracow Grid Workshop 2006. Октябрь 2006 г.
  17. Васа Курчин, Мустафа Ганем, Йике Го, Костас Статис, Франческа Тони. Создание сервис-ориентированных архитектур нового поколения с использованием агентов аргументации. 3-я Международная конференция по проектированию и управлению сетевыми сервисами (GSEM 2006). Springer Verlag. Сентябрь 2006 г.
  18. Патрик Вендель, Арнольд Фунг, Мустафа Ганем, Йике Го. Разработка планировщика Grid на основе Java с использованием стандартных сервисов. Труды собрания всех участников по электронной науке в Великобритании, 2006 г. Ноттингем, Великобритания, сентябрь 2006 г.
  19. Цян Лу, Синьчжун Ли, Мустафа Ганем, Ике Го, Хайянь Пан. Интеграция R в Discovery Net. Труды собрания всех участников по электронной науке в Великобритании, 2006 г. Сентябрь 2006 г.
  20. . Дои:10.1109 / E-SCIENCE.2006.17. Цитировать журнал требует | журнал = (помощь); Отсутствует или пусто | название = (помощь)
  21. Ричардс, М; Ганем, М; Осмонд, М; Guo, Y; Хассард, Дж (2006). «Сетевой анализ данных о загрязнении воздуха». Экологическое моделирование. 194 (1–3): 274–286. Дои:10.1016 / j.ecolmodel.2005.10.042.
  22. Сайед, Джамиль; Ганем, Мустафа; Го, Йике (2007). «Поддержка процессов научных открытий в Discovery Net». Параллелизм и вычисления: практика и опыт. 19 (2): 167. Дои:10.1002 / cpe.1049.
  23. Васа Курчин, Мустафа Ганем, Йике Го, Джон Дарлингтон. Выявление побочных реакций на лекарства с помощью рабочих процессов электронной науки. Материалы 4-й Каирской международной конференции по биомедицинской инженерии, 2008 г. CIBEC 2008 г. Декабрь 2008 г.
  24. Curcin, V; Ганем, М. (2008). «Научные системы документооборота - может ли всех подойти один размер?». 2008 Каирская международная конференция по биомедицинской инженерии. С. 1–9. Дои:10.1109 / CIBEC.2008.4786077. ISBN  978-1-4244-2694-2.
  25. Ганем, Мустафа; Курчин, Васа; Вендел, Патрик; Го, Ике (2009). «Построение и использование аналитических рабочих процессов в Discovery Net». Методы интеллектуального анализа данных в средах грид-вычислений. С. 119–39. Дои:10.1002 / 9780470699904.ch8. ISBN  978-0-470-69990-4.
  26. Курчин, Васа; Ганем, Мустафа М; Го, Ике (2009). «Анализ научных рабочих процессов с помощью Computational Tree Logic». Кластерные вычисления. 12 (4): 399. Дои:10.1007 / s10586-009-0099-6.
  27. Антье Вольф, Мартин Хофманн-Апиций, Мустафа Ганем, Набиль Азам, Димитриос Калаитцопулос, Кункиан Ю, Винод Касам. DockFlow - прототип PharmaGrid для виртуального скрининга, объединяющий четыре различных док-станции. In Proceedings of HealthGrid 2009 Volume 147, pp. 3–12 Исследования в области технологий здравоохранения и информатики, май 2009 г.

внешняя ссылка