Куб данных Австралии по геонаукам - Australian Geoscience Data Cube

Куб данных Австралии по геонаукам (AGDC) представляет собой подход к хранению, обработке и анализу больших коллекций данных наблюдения Земли. Технология разработана для решения задач, представляющих национальный интерес, будучи гибкой и гибкой с огромными объемами многоуровневых сетевых данных.

AGDC сокращает время обработки традиционного анализа изображений за счет калибровки, предварительного вычисления известных экстентов, выравнивания пикселей и сохранения метаданных в структуре решетки ячеек. Данные, выровненные по временным пикселям, часто могут быть проанализированы быстрее по пространственным и временным измерениям, чем предыдущие методы на основе сцен. Это позволяет AGDC быть гибким в решении будущих проблем и сократить время анализа на всевозрастающий хранилища данных наблюдения Земли.

AGDC также использовался на международном уровне. ^[1] чтобы позволить странам поддерживать экологически устойчивые программы и снизить кривую сложности использования Дистанционное зондирование данные.^[2]

Фон

AGDC был первоначально разработан Геонауки Австралия но теперь поддерживается в партнерстве между Геонауки Австралия, Организация Содружества научных и промышленных исследований (CSIRO) и Национальный фонд национальной вычислительной инфраструктуры (Австралия) (NCI). Это стало возможным благодаря финансированию партнерства и ряда организаций, таких как Национальная стратегия совместной исследовательской инфраструктуры (NCRIS).^[3]

Готовые к анализу данные, прием и индексирование

Данные, обрабатываемые в кубе, производятся готов к анализу ^[4] перед загрузкой и индексацией в AGDC. Готовые к анализу данные - это предварительно обработанные данные, в которые были внесены поправки для калибровки прибора (усиления и смещения), геолокации (пространственное выравнивание) и радиометрии (солнечное освещение, угол падения, топография, атмосферные помехи). Процесс приема управляет переводом наборов данных в единицы хранения, поддерживая индекс базы данных. Доступ к данным в хранилище и индексе можно получить с помощью вызовов API, часто компилируемых в коде, например Python (язык программирования).

Пример

s2a_l1c = dc.load (product = 's2a_level1c_granule', x = (147.36, 147.41), y = (- 35.1, -35.15), sizes = ['04', '03', '02'], output_crs = 'EPSG : 4326 ', разрешение = (- 0,00025,0,00025))

Наборы данных, хранящиеся в настоящее время

Геонауки Австралия Landsat Поверхностное отражение (с 1987 г. по настоящее время)
Landsat Качество пикселей
Landsat Дробное покрытие
Landsat NDVI

Наборы данных, которые были опробованы

USGS Отражение поверхности Landsat
SRTM DEM
Химавари 8
MODIS
Сентинел-2 L1C / S2A
Австралийские сеточные климатические данные

Открытый исходный код

Кодовая база AGDC находится в GitHub как открытый репозиторий.^[5] Базовый код перемещен в Открытый куб данных в начале 2017 года в рамках международного сотрудничества. Пока кодовая база Открытый куб данных, отдельные кубы существуют сами по себе, например, AGDC на Национальный фонд национальной вычислительной инфраструктуры (Австралия) (NCI) с использованием кластера высокопроизводительных вычислений HPCC. Основной код может быть установлен на персональных или общедоступных компьютерах (с помощью git) и имеет множество модульных тестов.

Документация по кодовой базе существует на сайте Read the Docs.^[6]

Проблемы AGDC

AGDC разработан для решения общенациональных задач, таких как следующие.

Устойчивость
Среда
Управление водными ресурсами
Помощь при стихийных бедствиях
Разработка политики
Планирование сообщества
Сохранение леса
Измерение углерода

Международные награды

AGDC выиграла ^[7] то Контентная платформа года 2016 награда от Geospatial World Forum.^[8]