Cuneiform (язык программирования) - Cuneiform (programming language)

Клинопись
Парадигма	функциональный, научный рабочий процесс
Разработано	Йорген Брандт
Впервые появился	2013
Стабильный выпуск	3.0.4 / 19 ноября 2018 г.
Печатная дисциплина	простые типы
Язык реализации	Erlang
Операционные системы	Linux, Mac OS
Лицензия	Лицензия Apache 2.0
Расширения имени файла	.cfl
Интернет сайт	клинопись.org
Под влиянием
	Быстрый

Клинопись является Открытый исходный код язык рабочего процесса для масштабного анализа научных данных.^[1]^[2]Это статически типизированный функциональный язык программирования продвижение параллельные вычисления. Отличается универсальным интерфейс внешней функции позволяя пользователям интегрировать программное обеспечение из многих внешних языков программирования. На организационном уровне Cuneiform предоставляет такие возможности, как условное ветвление и общая рекурсия делая это Полный по Тьюрингу. Таким образом, клинопись - это попытка сократить разрыв между системами научного рабочего процесса, такими как Таверна, KNIME, или же Галактика и модели программирования крупномасштабного анализа данных, такие как Уменьшение карты или же Свинья на латыни предлагая универсальность функционального языка программирования.

Клинопись реализована в распределенных Erlang. При работе в распределенном режиме он управляет POSIX -совместимая распределенная файловая система, например Gluster или же Ceph (или ПРЕДОХРАНИТЕЛЬ интеграция какой-либо другой файловой системы, например, HDFS ). В качестве альтернативы скрипты клинописи могут выполняться поверх HTCondor или же Hadoop.^[3]^[4]^[5]^[6]

На клинопись повлияла работа Питера Келли, который предлагает функциональное программирование в качестве модели для выполнения научного рабочего процесса.^[7]^[8]В этом Cuneiform отличается от родственных языков рабочего процесса на основе программирование потока данных подобно Быстрый.^[9]

Интеграция внешнего программного обеспечения

Внешние инструменты и библиотеки (например, р или же Python библиотеки) интегрированы через интерфейс внешней функции. В этом он похож, например, на KNIME что позволяет использовать внешнее программное обеспечение через узлы сниппета, или Таверна который предлагает BeanShell услуги по интеграции Ява программного обеспечения. Определив задачу на иностранном языке, можно использовать API внешнего инструмента или библиотеки. Таким образом, инструменты могут быть интегрированы напрямую без необходимости написания оболочки или повторной реализации инструмента.^[10]

В настоящее время поддерживаются следующие иностранные языки программирования:

Поддержка иностранных языков для AWK и гнуплот планируются дополнения.

Тип Система

Cuneiform представляет собой простую систему шрифтов со статической проверкой.^[11] Хотя Cuneiform предоставляет списки как составные типы данных он опускает традиционные средства доступа к списку (начало и конец), чтобы избежать ошибок времени выполнения, которые могут возникнуть при доступе к пустому списку. Вместо этого доступ к спискам осуществляется по принципу «все или ничего» путем только сопоставления или сворачивания по ним. Кроме того, Cuneiform опускает (на организационном уровне) арифметику, что исключает возможность деления на ноль. Пропуск любой частично определенной операции позволяет гарантировать, что ошибки времени выполнения могут возникать исключительно во внешнем коде.

Базовые типы данных

В качестве базовых типов данных Cuneiform предоставляет логические значения, строки и файлы. Здесь файлы используются для обмена данными в произвольном формате между внешними функциями.

Записи и сопоставление с образцом

Клинопись обеспечивает записи (структуры) как составные типы данных. В приведенном ниже примере показано определение переменной. р запись с двумя полями а1 и а2, первая из которых является строкой, а вторая - логическим значением.

let r:  = ;

Доступ к записям можно получить либо через проекцию, либо через сопоставление с образцом. В приведенном ниже примере извлекаются два поля а1 и а2 из записи р.

пусть a1: Str = (r | a1); пусть  = r;

Списки и обработка списков

Кроме того, Cuneiform предоставляет списки как составные типы данных. В приведенном ниже примере показано определение переменной. хз список файлов с тремя элементами.

let xs: [File] = ['a.txt', 'b.txt', 'c.txt': File];

Списки можно обрабатывать с помощью операторов for и fold. Здесь оператору for может быть предоставлено несколько списков для поэлементного использования списка (аналогично для / list в Ракетка, mapcar в Common Lisp или же zipwith в Erlang ).

В приведенном ниже примере показано, как сопоставить один список, в результате чего получается список файлов.

для x <- xs do process-one (arg1 = x): Fileend;

В приведенном ниже примере показано, как заархивировать два списка, в результате чего также будет список файлов.

для x <- xs, y <- ys выполните процесс два (arg1 = x, arg2 = y): Fileend;

Наконец, списки можно агрегировать с помощью оператора свертки. В следующем примере суммируются элементы списка.

  fold acc = 0, x <- xs do add (a = acc, b = x) end;

Параллельное исполнение

Клинопись - чисто функциональный язык, т. Е. Не поддерживает изменяемые ссылки. Как следствие, он может использовать независимость от субтермингов для разделения программы на параллелизуемые части. Планировщик Cuneiform распределяет эти части по рабочим узлам. Кроме того, Cuneiform использует Стратегия оценки вызова по имени для вычисления значений, только если они вносят вклад в результат вычисления. Наконец, приложения с внешними функциями памятный для ускорения вычислений, содержащих полученные ранее результаты.

Например, следующая программа Cuneiform позволяет применять ж и грамм работать параллельно, пока час является зависимым и может быть запущен только тогда, когда оба ж и грамм закончены.

let output-of-f: File = f (); let output-of-g: File = g (); h (f = вывод-of-f, g = output-of-g);

Следующая программа Cuneiform создает три параллельных приложения функции ж путем сопоставления ж над списком из трех элементов:

let xs: [File] = ['a.txt', 'b.txt', 'c.txt': File]; для x <- xs do f (x = x): Fileend;

Точно так же приложения ж и грамм независимы в построении записи р и, таким образом, может выполняться параллельно:

пусть r:  = ;

Примеры

Скрипт приветствия:

def greet (person: Str) ->  в Bash * {out = "Hello $ person"} * (greet (person = "world") | out);

Этот скрипт определяет задачу приветствовать в Баш что предшествует "Привет " к его строковому аргументу человек.Функция производит запись с одним строковым полем. из.Применение приветствовать, связывая аргумент человек к строке "Мир" производит запись <out = "Hello world">. Проецирование этой записи на свое поле из оценивает строку "Привет, мир".

Инструменты командной строки могут быть интегрированы путем определения задачи в Баш:

def samtoolsSort (bam: File) ->  в Bash * {sorted = sorted.bam samtools sort -m 2G $ bam -o $ sorted} *

В этом примере задача samtoolsSort определен. Он вызывает инструмент SAMtools, используя входной файл в формате BAM и создавая отсортированный выходной файл, также в формате BAM.

История выпуска

Версия	Внешность	Язык реализации	Платформа распространения	Иностранные языки
1.0.0	Май 2014 г.	Ява	Apache Hadoop	Bash, Common Lisp, GNU Octave, Perl, Python, R, Scala
2.0.x	Март 2015 г.	Ява	HTCondor, Apache Hadoop	Bash, BeanShell, Common Lisp, MATLAB, GNU Octave, Perl, Python, R, Scala
2.2.x	Апрель 2016 г.	Erlang	HTCondor, Apache Hadoop	Баш, Perl, Python, R
3.0.x	Февраль 2018 г.	Erlang	Распределенный Erlang	Bash, Erlang, Java, MATLAB, GNU Octave, Perl, Python, R, Racket

В апреле 2016 года язык реализации Cuneiform изменился с Ява к Erlang а в феврале 2018 года его основная платформа распределенного выполнения изменилась с Hadoop на распределенный Erlang. Дополнительно с 2015 по 2018 гг. HTCondor поддерживалась в качестве альтернативной исполнительной платформы.

Поверхностный синтаксис Cuneiform был пересмотрен дважды, что отражено в номере основной версии.

Версия 1

В своем первом проекте, опубликованном в мае 2014 г., Cuneiform была тесно связана с Делать в том, что он построил статический граф зависимостей данных, который интерпретатор проходил во время выполнения. Основным отличием от более поздних версий было отсутствие условных выражений, рекурсии или проверки статического типа. Файлы отличались от строк путем сопоставления строковых значений в одинарных кавычках с тильдой. ~. Выражение запроса скрипта было введено с цель ключевое слово. Баш был иностранным языком по умолчанию. Приложение функции должно было выполняться с использованием подать заявление форма, которая приняла задача в качестве первого аргумента ключевого слова. Год спустя этот поверхностный синтаксис был заменен упрощенной, но похожей версией.

Следующий пример сценария загружает эталонный геном с FTP-сервера.

объявить download-ref-genome; deftask download-fa (fa: ~ path ~ id) * {wget $ path / $ id.fa.gz gunzip $ id.fa.gz mv $ id.fa $ fa} * ref-genome -path = ~ 'ftp: //hgdownload.cse.ucsc.edu/goldenPath/hg19/chromosomes'; ref-genome-id = ~ 'chr22'; ref-genome = apply (task: download-fa path: ref- genome-path id: ref-genome-id); целевой ref-геном;

Версия 2

Редактор на основе Swing и REPL для Cuneiform 2.0.3

Второй проект синтаксиса поверхности Cuneiform, впервые опубликованный в марте 2015 года, оставался в использовании в течение трех лет, пережив переход от Java к Erlang в качестве языка реализации Cuneiform. Оценка отличается от более ранних подходов тем, что интерпретатор сокращает выражение запроса вместо обхода статического графа. В то время как поверхностный синтаксис оставался в использовании, интерпретатор был формализован и упрощен, что привело к первой спецификации семантики Cuneiform. В синтаксисе использовались условные выражения. Однако логические значения кодировались как списки, в которых пустой список использовался как логическое ложное, а непустой список - как логическое истинное. Рекурсия была добавлена позже как побочный продукт формализации. Однако проверка статического типа была введена только в версии 3.

Следующий сценарий распаковывает заархивированный файл и разбивает его на разделы одинакового размера.

deftask unzip (: zip (File)) в bash * {unzip -d dir $ zip out = `ls dir | awk '{print "dir /" $ 0}' `} * deftask split (: file (File)) в bash * {split -l 1024 $ file txt out = txt *} * sotu =" sotu /stateoftheunion1790-2014.txt.zip";fileLst = split (файл: распаковать (zip: sotu)); fileLst;

Версия 3

Текущая версия поверхностного синтаксиса Cuneiform, по сравнению с более ранними проектами, является попыткой сократить разрыв с основными языками функционального программирования. Он имеет простую, статически проверяемую систему типов и вводит записи в дополнение к спискам в качестве второго типа составной структуры данных. Логические значения - это отдельный базовый тип данных.

Следующий сценарий распаковывает файл, создавая список файлов.

def untar (tar: File) ->  в Bash * {tar xf $ tar fileLst = `tar tf $ tar`} * let hg38Tar: File = 'hg38 / hg38.tar'; let  = untar (tar = hg38Tar); faLst;