Сфинкс (поисковая система) - Sphinx (search engine)

Не путать с Sphinx (генератор документации) или же КМУ Сфинкс.
Сфинкс
Sphinx search logo.jpg
Разработчики)Андрей Аксёнов
изначальный выпуск2001; 19 лет назад (2001)
Стабильный выпуск
3.2.1 / 31 января 2020 г.; 10 месяцев назад (2020-01-31)
Написано вC ++
Операционная системаLinux, Windows, Solaris, FreeBSD, NetBSD, Mac OS, AIX
ТипПоиск и индекс
ЛицензияGPLv2 и коммерческие; проприетарный с версии 3
Интернет сайтсфинкс поиск.com

Сфинкс это полный текст F / OSS поисковый движок который предоставляет клиентским приложениям возможность текстового поиска.

Обзор

Sphinx может использоваться как автономный сервер или как механизм хранения ("SphinxSE") для семейства баз данных MySQL. При работе в качестве автономного сервера Sphinx работает аналогично СУБД и может общаться с MySQL, MariaDB и PostgreSQL через свои собственные протоколы или с любой ODBC-совместимой СУБД через ODBC.MariaDB, форк MySQL, распространяется вместе с SphinxSE.[1]

SphinxAPI

Если Sphinx запущен как автономный сервер, можно использовать SphinxAPI для подключения к нему приложения. Официальные реализации API доступны для PHP, Ява, Perl, Рубин и Python языков. Неофициальные реализации для других языков, а также различные сторонние[2] плагины и модули также доступны. Другие источники данных могут быть проиндексированы через конвейер в настраиваемом XML формат.[3]

SphinxQL

Демон поиска Sphinx поддерживает двоичный сетевой протокол MySQL и может быть доступен с помощью обычного MySQL API и / или клиентов. Sphinx поддерживает подмножество SQL известный как SphinxQL. Он поддерживает стандартный запрос всех типов индексов с помощью SELECT, изменение индексов RealTime с помощью INSERT, REPLACE и DELETE и т. Д.

SphinxSE

Sphinx также может предоставить специальный механизм хранения для баз данных MariaDB и MySQL. Это позволяет MySQL, MariaDB взаимодействовать с Sphinx. searchd для выполнения запросов и получения результатов. Индексы Sphinx обрабатываются как обычные таблицы SQL. Механизм хранения SphinxSE поставляется с MariaDB.

Полнотекстовые поля и индексирование

Sphinx настроен на проверку набора данных через свой индексатор. Процесс индексатора создает полнотекстовый индекс (специальный структура данных который обеспечивает быстрый поиск по ключевым словам) из заданных данных / текста. Полный текст поля - это результирующий контент, который индексируется Sphinx; их можно (быстро) искать по ключевым словам. Поля имеют имена, и вы можете ограничить поиск одним полем (например, поиск только по «заголовку») или подмножеством полей (например, только «заголовком» и «рефератом»). Формат индекса Sphinx обычно поддерживает до 256 полей. Обратите внимание, что исходные данные не хранятся в индексе Sphinx, а отбрасываются в процессе индексирования; Sphinx предполагает, что вы храните это содержимое в другом месте.

Атрибуты

Атрибуты - это дополнительные значения, связанные с каждым документом, которые можно использовать для дополнительной фильтрации и сортировки во время поиска. Атрибуты названы. Имена атрибутов нечувствительны к регистру. Атрибуты не индексируются полнотекстовым индексом; они хранятся в индексе как есть. В настоящее время поддерживаются следующие типы атрибутов:

(с 1.10-беты);

(начиная с 2.1.1-beta);[4][5]

  • MVA, многозначные атрибуты (списки 32-битных целых чисел без знака переменной длины).

Атрибуты JSON в Sphinx

Сфинкс, как классический SQL базы данных, работает с так называемым фиксированным схема, то есть набор предварительно определенных столбцов атрибутов. Они хорошо работают, когда большая часть хранимых данных действительно имеет значения: сопоставление разреженных данных со статическими столбцами может быть обременительным. Предположим, например, что вы проводите сравнение цен или аукцион с множеством разных категорий товаров. Некоторые атрибуты, такие как цена или продавец, идентичны для всех товаров. Но оттуда для ноутбуков вам также нужно сохранить вес, размер экрана, тип жесткого диска, размер RAM и т. Д. И, скажем, для лопаты вы, вероятно, захотите сохранить цвет, длину ручки и т. Д. Таким образом, это управляемо для одной категории, но все отдельные поля, которые вам нужны для всех товаров во всех категориях, легион. Для преодоления этого можно использовать поле JSON. Внутри атрибута JSON вам не нужна фиксированная структура. У вас могут быть разные ключи, которые могут присутствовать или не присутствовать во всех документах. Когда вы пытаетесь выполнить фильтрацию по одному из этих ключей, Sphinx проигнорирует документы, не имеющие ключа в атрибуте JSON, и будет работать только с теми документами, в которых он есть.

Лицензия

До версии 3 Sphinx двойная лицензия; либо:

  1. Стандартная общественная лицензия GNU версии 2 или же
  2. проприетарное лицензирование доступен для случаев использования, которые выходят за рамки условий GNU GPLv2.

Начиная с версии 3, Sphinx стал проприетарным, с обещанием выпустить его исходный код в будущем.[6]

Примеры использования сфинкса

  • Craigslist.org[7]
  • Recruitment.aleph-graymatter.com[8]
  • Tradebit.com[9]
  • vBulletin.com[10]
  • Расширение Mediawiki[11]
  • Boardreader.com[12]
  • OMBE.com[13]
  • Limundo.com[13]

Список возможностей

  • Партия и инкрементное (мягкое в реальном времени) полнотекстовое индексирование.
  • Поддержка нетекстовых атрибутов (скаляры, струны, наборы, JSON).
  • Прямое индексирование баз данных SQL. Встроенная поддержка для MySQL, MariaDB, PostgreSQL, MSSQL, плюс ODBC возможность подключения.
  • Поддержка индексации XML-документов.
  • Готовая к работе поддержка распределенного поиска.
  • Интеграция через доступ API.
  • SQL-подобный синтаксис через MySQL протокол (начиная с 0.9.9)
  • Синтаксис полнотекстового поиска.
  • Обработка набора результатов как в базе данных.
  • Рейтинг релевантности с использованием дополнительных факторов помимо стандартных BM25.
  • Поддержка обработки текста для SBCS и UTF-8 кодировки, стоп-слова, индексация слов, которых заведомо не было в базе данных ("hitless"), остановка, словоформы, токенизация исключения и «смешанные символы» (двойная индексация как реального символа, так и разделителя слов).
  • Поддерживает UDF (начиная с 2.0.1).

Производительность и масштабируемость

  • Скорость индексирования до 10-15 МБ / сек на ядро ​​и HDD.
  • Скорость поиска более 500 запросов в секунду в коллекции 1 000 000 документов / 1,2 ГБ с использованием 2-ядерной настольной системы с 2 ГБ ОЗУ.[14]
  • Самая большая известная установка, использующая Sphinx, Boardreader.com, индексирует 16 миллиардов документов.[15]
  • Самая загруженная из известных инсталляций, Craigslist, обслуживает более 300 000 000 запросов в день.[15] и более 50 миллиардов просмотров страниц в месяц.[16]

Смотрите также

Рекомендации

  1. ^ "AskMonty: О SphinxSE". http://kb.askmonty.org. Monty Program AB. Получено 16 августа 2013. Внешняя ссылка в | сайт = (помощь)
  2. ^ «Sphinx Wiki: инструменты сторонних разработчиков». http://sphinxsearch.com. Вики Сообщества. Получено 16 августа 2013. Внешняя ссылка в | сайт = (помощь)
  3. ^ "xmlpipe2". http://sphinxsearch.com. Документация по поиску Sphinx. Получено 16 августа 2013. Внешняя ссылка в | сайт = (помощь)
  4. ^ "Атрибуты JSON в Sphinx 2.1.1". http://sphinxsearch.com. Блог поиска Sphinx. Получено 16 августа 2013. Внешняя ссылка в | сайт = (помощь)
  5. ^ «Полная поддержка JSON в магистрали». http://sphinxsearch.com. Блог поиска Sphinx. Получено 16 августа 2013. Внешняя ссылка в | сайт = (помощь)
  6. ^ http://sphinxsearch.com/downloads/
  7. ^ "Сфинкс в Craigslist". http://craigslist.org. Craigslist. Получено 17 августа 2013. Внешняя ссылка в | сайт = (помощь)
  8. ^ "GM Recruitment". http://www.aleph-networks.com. Алеф-сети. Получено 1 октября 2012. Внешняя ссылка в | сайт = (помощь)
  9. ^ "Освещение быстрого поиска по сайту PHP". http://tradebit.com. Tradebit. Получено 17 августа 2013. Внешняя ссылка в | сайт = (помощь)
  10. ^ "Бета-версия Sphinx Search для Vbulletin 4.0". http://vbulletin.com. Vbulletin. Получено 17 августа 2013. Внешняя ссылка в | сайт = (помощь)
  11. ^ "Расширение поиска Sphinx для MediaWiki". http://mediawiki.org. MediaWiki: Свемир Бркич, Пол Гринберг. Получено 17 августа 2013. Внешняя ссылка в | сайт = (помощь)
  12. ^ "На основе Sphinx Search: Boardreader". http://sphinxsearch.com. Поиск сфинкса. Получено 17 августа 2013. Внешняя ссылка в | сайт = (помощь)
  13. ^ а б "На платформе Sphinx". http://sphinxsearch.com/. Внешняя ссылка в | сайт = (помощь)
  14. ^ "О Сфинксе". http://sphinxsearch.com. Поиск сфинкса. Получено 16 августа 2013. Внешняя ссылка в | сайт = (помощь)
  15. ^ а б "На платформе Sphinx". http://sphinxsearch.com. Поиск сфинкса. Получено 10 мая 2015. Внешняя ссылка в | сайт = (помощь)
  16. ^ "Craigslist: Factsheet". http://www.craigslist.org. Craigslist. Архивировано из оригинал 5 августа 2012 г.. Получено 16 августа 2013. Внешняя ссылка в | сайт = (помощь)

дальнейшее чтение

внешняя ссылка