Конвейер (Unix) - Pipeline (Unix)

Эта статья посвящена оригинальной реализации оболочек. Для программных конвейеров в целом см. Pipeline (программное обеспечение).
Конвейер из трех программных процессов, выполняемых на текстовом терминале

В Unix-подобный компьютер операционные системы, а трубопровод это механизм для межпроцессного взаимодействия используя передачу сообщений. Трубопровод - это набор процессы скованные вместе их стандартные потоки, так что выходной текст каждого процесса (стандартный вывод ) передается непосредственно как ввод (стандартный ввод ) к следующему. Второй процесс запускается, поскольку первый процесс все еще выполняется, и они выполняются одновременно. Концепция трубопроводов была поддержана Дуглас Макилрой в Unix прародина Bell Labs, во время разработки Unix, формируя ее философия инструментария.[1][2] Он назван по аналогии с физическим трубопровод. Ключевой особенностью этих конвейеров является "сокрытие внутренних компонентов" (Ritchie & Thompson, 1974). Это, в свою очередь, обеспечивает большую ясность и простоту системы.

Эта статья о анонимные трубы, где данные, записанные одним процессом, буферизуются операционной системой до тех пор, пока они не будут прочитаны следующим процессом, и этот однонаправленный канал исчезает, когда процессы завершаются. Это отличается от именованные каналы, где сообщения передаются в канал или из канала, которому присвоено имя в виде файла, и остаются после завершения процессов. Стандарт ракушка синтаксис для анонимные трубы состоит в том, чтобы перечислить несколько команд, разделенных вертикальной чертой («трубы» в обычном слове Unix):

процесс1 | процесс2 | процесс3

Например, чтобы вывести список файлов в текущем каталоге (ls), оставьте только строки ls вывод, содержащий строку "ключ" (grep) и просмотрите результат на прокручиваемой странице (меньше), пользователь вводит в командную строку терминала следующее:

ls -l | grep ключ | меньше

"ls -l"создает процесс, вывод (stdout) которого передается по конвейеру на ввод (stdin) процесса для" grep key "; и аналогично для процесса для" less ". Каждый процесс принимает ввод от предыдущего процесса и производит вывод для следующего процесса через стандартные потоки. Каждый " | "указывает оболочке соединить стандартный вывод команды слева со стандартным вводом команды справа с помощью межпроцессного взаимодействия механизм называется (анонимный) труба, реализованный в операционной системе. Трубы однонаправленные; данные проходят по конвейеру слева направо.

Конвейеры в интерфейсах командной строки

Все широко используемые оболочки Unix имеют специальную синтаксическую конструкцию для создания конвейеров. При любом использовании команды записываются последовательно, разделенные знаком ASCII вертикальная полоса персонаж "|"(который по этой причине часто называют" вертикальной чертой "). Оболочка запускает процессы и устанавливает необходимые соединения между их стандартными потоками (включая некоторое количество буфер место хранения).

Поток ошибок

По умолчанию стандартные потоки ошибок ("stderr ") процессов в конвейере не передаются по конвейеру; вместо этого они объединяются и направляются в консоль. Однако многие оболочки имеют дополнительный синтаксис для изменения этого поведения. в csh shell, например, используя "|&" вместо "|"означает, что стандартный поток ошибок также должен быть объединен со стандартным выводом и передан следующему процессу. Bourne Shell также может объединить стандартную ошибку с |& начиная с bash 4.0[3] или используя 2>&1, а также перенаправить его в другой файл.

Трубный завод

В наиболее часто используемых простых конвейерах оболочка соединяет серию подпроцессов через конвейеры и выполняет внешние команды внутри каждого подпроцесса. Таким образом, сама оболочка не выполняет прямой обработки данных, проходящих через конвейер.

Однако оболочка может выполнять обработку напрямую, используя так называемый мельница или же трубная фабрика (поскольку пока команда используется для «измельчения» результатов начальной команды). Эта конструкция обычно выглядит примерно так:

команда | пока читать -r var1 var2 ...; делать   # обрабатываем каждую строку, используя переменные, проанализированные в var1, var2 и т. д.   # (обратите внимание, что это может быть подоболочка: var1, var2 и т. д. будут недоступны   # после завершения цикла while; некоторые оболочки, такие как zsh и новее   # версии оболочки Korn, обработайте команды слева от канала   # оператор в подоболочке)   сделано

Такой конвейер может работать не так, как задумано, если тело цикла включает в себя такие команды, как Кот и ssh, это читается из стандартный ввод:[4] на первой итерации цикла такая программа (назовем ее утечка) будет читать оставшийся вывод из команда, и затем цикл завершится (результаты зависят от характеристик слива). Есть несколько способов избежать такого поведения. Во-первых, некоторые стоки поддерживают возможность отключения чтения из стандартный ввод (например. ssh -n). Как вариант, если сток не необходимость читать любой ввод из стандартный ввод сделать что-то полезное, это можно дать как вход.

Поскольку все компоненты конвейера выполняются параллельно, оболочка обычно создает подпроцесс (подоболочку) для обработки своего содержимого, что делает невозможным распространение изменений переменных во внешнюю среду оболочки. Чтобы решить эту проблему, "трубную мельницу" можно питать от здесь документ содержащий подстановка команд, который ожидает завершения конвейера, прежде чем просмотреть содержимое. В качестве альтернативы именованный канал или замена процесса может использоваться для параллельного выполнения. GNU bash также есть последняя труба возможность отключить разветвление для последнего компонента трубы.[5]

Программное создание конвейеров

Конвейеры можно создавать под управлением программы. Unix трубка() системный вызов просит операционную систему создать новый анонимная трубка объект. Это приводит к появлению двух новых открытых файловых дескрипторов в процессе: конец канала только для чтения и конец только для записи. Концы труб нормальные, анонимные файловые дескрипторы, за исключением того, что у них нет возможности искать.

Избежать тупик и использовать параллелизм, тогда процесс Unix с одним или несколькими новыми каналами обычно вызывает вилка() создавать новые процессы. Затем каждый процесс закроет конец (и) канала, который он не будет использовать, прежде чем производить или потреблять какие-либо данные. В качестве альтернативы процесс может создавать новые потоки и использовать канал для связи между ними.

Именованные каналы также может быть создан с использованием mkfifo () или же mknod () а затем представляется как входной или выходной файл для программ при их запуске. Они позволяют создавать многопутевые каналы и особенно эффективны в сочетании со стандартным перенаправлением ошибок или с тройник.

Выполнение

В большинстве Unix-подобных систем все процессы конвейера запускаются одновременно, их потоки соответствующим образом соединяются и управляются планировщик вместе со всеми другими процессами, запущенными на машине. Важным аспектом этого, отличающим каналы Unix от других реализаций каналов, является концепция буферизация: например, программа-отправитель может выдать 5000 байты на второй, и принимающая программа может принимать только 100 байтов в секунду, но данные не теряются. Вместо этого вывод программы-отправителя сохраняется в буфере. Когда принимающая программа готова к чтению данных, следующая программа в конвейере читает из буфера. В Linux размер буфера составляет 65 536 байт (64 КБ). Сторонний фильтр с открытым исходным кодом, называемый bfr доступен для увеличения буферов при необходимости.

Сетевые трубы

Такие инструменты, как netcat и сокат может подключать трубы к TCP / IP Розетки.

История

Концепция трубопровода была изобретена Дуглас Макилрой[6] и впервые описан в страницы руководства из Версия 3 Unix.[7] Макилрой заметил, что большую часть времени командные оболочки передал выходной файл из одной программы как вход в другую.

Его идеи были реализованы в 1973 году, когда («в одну лихорадочную ночь», - писал Макилрой) Кен Томпсон добавил трубка() системный вызов и конвейеры к оболочке и нескольким утилитам в версии 3 Unix. «На следующий день, - продолжил Макилрой, - произошла незабываемая оргия шуток, когда все присоединились к азарту сантехники». Макилрой также приписывает Томпсону | обозначение, которое значительно упростило описание синтаксиса конвейера в Версия 4.[8][7]

Несмотря на независимую разработку, конвейеры Unix связаны с «коммуникационными файлами», разработанными Кеном Лохнером, и им предшествовали. [9] в 1960-е годы для Дартмутская система разделения времени.[10]

В Тони Хоара связь последовательных процессов (CSP) Трубки Макилроя получают дальнейшее развитие.[11]

Робот в иконке для яблоко с Автомат, который также использует концепцию конвейера для связывания повторяющихся команд вместе, содержит конвейер в честь исходной концепции Unix.

Другие операционные системы

Основная статья: Pipeline (программное обеспечение)

Эта особенность Unix был заимствован другими операционными системами, такими как MS-DOS и Конвейеры CMS пакет на ВМ / CMS и MVS, и в итоге стал шаблон проектирования труб и фильтров из программная инженерия.

Смотрите также

Рекомендации

  1. ^ Махони, Майкл С. "Проект устной истории Unix: выпуск.0, начало". Макилрой: Это было одно из немногих мест, где я почти осуществил управленческий контроль над Unix, настаивал на этом, да.
  2. ^ http://cm.bell-labs.com/cm/cs/who/dmr/mdmpipe.html[постоянная мертвая ссылка ]
  3. ^ "Примечания к выпуску Bash". tiswww.case.edu. Получено 2017-06-14.
  4. ^ "Взаимодействие цикла оболочки с SSH". 6 марта 2012 г. Архивировано с оригинал 6 марта 2012 г.
  5. ^ Джон1024. "Как я могу сохранить результаты команды" найти "в виде массива в Bash". Переполнение стека.
  6. ^ «Создание операционной системы UNIX». Bell Labs. Архивировано из оригинал 14 сентября 2004 г.
  7. ^ а б Макилрой, М.Д. (1987). Читатель Research Unix: аннотированные выдержки из Руководства программиста, 1971–1986 (PDF) (Технический отчет). CSTR. Bell Labs. 139.
  8. ^ http://www.linfo.org/pipe.html Pipes: краткое введение от Linux Information Project (LINFO)
  9. ^ http://www.cs.rit.edu/~swm/history/DTSS.doc
  10. ^ http://cm.bell-labs.com/who/dmr/hist.html[постоянная мертвая ссылка ]
  11. ^ https://swtch.com/~rsc/thread/ Bell Labs и CSP Threads (Расс Кокс)

внешняя ссылка