Cursor

Описание команд всех сервисов, которые входят в состав Cursor.

Список версий

v3.0.0

Прочие изменения

• Все сервисы

  • Версия verdi v3.0.0
  • Обновлены версии "sbt-native-packager" и "sbt-unidoc"

• full-text-search

  • Доработки сервиса FTS, возможность добавить связанное поле в настройках поиска (настройки FTS)

v2.1.0

Нет изменений по сравнению с v2.0.0, кроме повышения номера версии.

v2.0.0

Прочие изменения

• full-text-search

  • Добавлен /ready роут
  • Изменено значение по умолчанию для VERDI_KAFKA_TOPIC. Теперь оно равно commandevents.
  • Изменено значение по умолчанию в документации для VERDI_KAFKA_TOPIC.
  • Добавлен фильтр для поиска по не указанным значениям

• tolka

  • Добавлен /ready роут

v1.12

Прочие изменения

• UI

  • На формах создания/редактирования сущности добавлен новый блок "Зависимость полей" с настройками зависимостей между полями.
  • Изменено отображение таблиц во время загрузки данных: теперь таблица не скрывается и поверх нее отображается лоадер
  • Добавлена страница с ошибкой о необходимости смены пароля
  • Исправлен проблема, когда на форме редактирования сущности, после удаления поля с типом "relation", это поле не удалялось при сохранении формы.

• DataModel

  • Исправлено сравнение JSON полей с NULL, если в настройках поля указано "multiple = true"
  • Исправлена проверка в Search запросе содержащим null при работе с массивами

• Indexation

  • Индексации, вызванные событиями в data-model, теперь имеют correlationId = "event"+UUID. Это же id записывается в журнал. Ожидание завершения такой индексации(для того, чтобы зажурналировать результат) происходит в файбере.
  • В Kafka message для плагинов добавлен флаг needBacklinks (для событий, которые изначально пришли из плагинов, в плагинах еще раз backlinks не запрашиваются)
  • Добавлены события журналирования IndexationBegin, IndexationEnd, IndexationStop, IndexationFixBegin, IndexationDescriptionCreate, IndexationDescriptionUpdate, IndexationDescriptionDelete
  • Добавлена переменная окружения APP_JOURNAL_REQUIRED_STEPS
  • Исправлен баг обработки ответов от Lamp2: теперь protobuf сообщения от внутреннего сервиса Lamp2 extraction распаковываются перед отправкой в datamodel

• plagiarism-plugin

  • Добавлено получение entityObject из data-model и отправка их в сервис indexation в случае ошибки при получении результатов из Lamp для backlinks в Flow2
  • Добавлены переменные окружения
  • LAMP_USE_VERSION_2
  • LAMP_CACHEABLE_SERVICES
  • LAMP_PARAMETERS_OPERATION

• similarity-plugin

  • Изменения аналогичны plagiarism-plugin

v1.11.7

Нет изменений по сравнению с v1.11.6, кроме повышение номера версии.

v1.11.6

Нет изменений по сравнению с v1.11.5, кроме повышение номера версии.

v1.11.5

Прочие изменения

• UI
  • Изменен текст об отправке уведомления на почту при восстановлении пароля.
  • Добавлена ошибка во время регистрации пользователя для случая, когда введенный email уже используется.
  • Добавлена проверка прав в разделе "Управление - Технический справочник".

v1.11.4

Нет изменений по сравнению с v1.11.3, кроме повышение номера версии.

v1.11.3

Ломающие изменения

• UI
  • В разделе "Журнал" для колонки "Описание/Объект" теперь используется поле "renderedData". Из-за этого для записей, созданных до обновления, колонка не будет ничего содержать.

Прочие изменения

• UI
  • Теперь в разделе "Журнал" поиск работает по колонке "Описание/Объект".
  • Добавлена настройка для выбора режима поиска событий в журнале.
  • Название переменной в конфиге AppUI: "journalEventSearchKind".
  • Возможные значения: "LikeQuery" (поиск по подстроке) или "TsQuery" (полнотекстовый поиск).
  • Значение по умолчанию: "LikeQuery".

v1.11.2

Прочие изменения

• Теперь клиент сервиса DataModel поддерживает все команды сервиса DataModel.

v1.11.1

Прочие изменения

• UI
  • На странице "Управление" добавлен новый раздел "Лицензия" с информацией о текущей лицензии.
  • Исправлен поиск групп по частичному совпадению с полем "Код" в разделе "Права доступа" на вкладке "Группы пользователей".
  • Теперь отображение столбца "Плановая деакцивация" регулируется правами в разделе "Пользователи".
  • Исправлен порядок переключения элементов при использовании Tab в модальном окне.

v1.11

Ломающие изменения

• full-text-search
  • В классе "SearchRequestDSLV2" изменилось поле "entityTypes" (удалено) на "entityTypeFields" (добавлено), поведение для прежнего значения поля, например ["type1","type2"] теперь идентично поведению со значением {"type1":null,"type2":null}.
  • Изменение повлияло на входные данные для команд: "fullTextSearchDSLV2", "fullTextSearchDSLGraphV2".

Прочие изменения

• UI

  • На странице полнотекстового поиска реализован переход к web-просмотру из фрагмента найденного текста
  • На странице полнотекстового поиска добавлены фильтры с выбором атрибутов сущностей по которым будет производиться поиска
  • В конструкторе форм появилась возможность выбрать в настройке "Связанный объект" любую из связей объекта для фильтрации по связанным объектам.

• DataModel

  • Добавлены команды "softDeleteObjectBatch" и "softDeleteObjectSearch".
  • Добавлена обработка фильтров с множественным выбором (InSetQuery, AllInSetQuery) для полей которые являются массивами.

v1.10.1

Нет изменений по сравнению с v1.10, кроме повышение номера версии.

v1.10

• UI

  • Поле ввода "Шаг" в настройках индексации теперь растягивается/сжимается только по высоте (CURS-670)
  • Исправленны мелкие баги элементов типа "лейаут" в конструкторе форм (CURS-672)
  • Теперь компонент "Таблица пересечений" учитывает тип связи при запросе связей (CURS-701)
  • Если в командах МД со входными данными они не указаны, теперь возвращается стандартная ошибка (CURS-719)
  • Выпадающий список теперь не заходит на шапку системы при скролле страницы (CURS-731)
  • Для полей ввода в конструкторе теперь недоступено системное поле "Идентификатор" (CURS-739)
  • В разделе "Группы пользователей" высота модальных окон теперь не ограничена высотой тела модального окна. Ограничение теперь "100% - 40px" (по 20px сверху и снизу) (CURS-2173)
  • Длинное предложение исправления поискового запроса теперь переносится на следующую строку (CURS-2216)
  • В выпадающем списке компонента "Табы" добавлен вертикальный скролл (CURS-2224)
  • Вид формы "Панель информации в графе" в конструкторе и в графе теперь не отличается (CURS-2226)
  • При наведении курсора на нижнюю часть объекта в графе теперь не происходит мерцания всплывающего окна (CURS-2227)
  • Исправлена ошибка в "Настройках темы" при попытке применить изменения, если указать в поле файл, а затем текст (CURS-2311)
  • Модальные окна в разделах "Управления" теперь не закрываются при отжатии кнопки вне окна (CURS-2322)
  • Исправлены мелкие баги элемента "Ключевые слова" конструктора форм (CURS-2402)
  • Исправлена проблема, когда подсказка с кнопкой не отображается, если в "Реестре" нет объектов (CURS-2413)
  • При переходе на страницу или при обновлении страницы "Конструктор форм" в селекторе размера (ширины) формы теперь оображается значение, заданное по умолчанию - 1280 (CURS-2414)
  • Исправлена проблема при переходе на страницу с предпросмотром из конструктора форм и возвращении обратно в конструктор, то останется отображение предпросмотра (CURS-2432)
  • Исправлена проблема при изменении масштаба окна браузера, когда нижний сниппет интеллектуального поиска отображался не полностью (CURS-2453)
  • Если дважды выйти из системы и перейти "Назад", то теперь разделы управления не отображаются (CURS-2502)
  • В полях с выпадающим списком иконка сброса всех значений теперь не зависит от состояния списка (открыт/свернут) (CURS-2528)
  • Теперь при переходе из графа на карточку объекта и обратно в граф, статистика по фильтрам не пропадает (CURS-2578)
  • Теперь вместо текста-ссылки для кода сущности (entityType) в разделе "Модель данных" отображается кнопка (CURS-2595)
  • В таблице описания шагов идексации теперь работает изменение количества строк на странице (CURS-2614)
  • Исправлена проблема, когда при повторном обновлении объекта отправлялся предыдущий номер версии (CURS-2616)
  • Исправлена проблема, когда при переходе в Управление отображается 404, если не все разделы доступны (CURS-2617)
  • Исправлена проблема, когда отображалась кнопка перехода в подраздел "Настройка темы" при отсутствии прав на подраздел (CURS-2618)
  • Исправлено отображение компонентов Input, Radio Button, Single Select в соответствии с макетами (CURS-2618)
  • Исправлена проблема в настройках расширения, когда, при клике на выбранный вариант расширения, расширения с одинаковой степенью близости менялись местами (CURS-2638)
  • Исправлена проблема с отображением содержимого страницы 404, если нет прав на команду UIStorage_http_ListKeys (CURS-2648)
  • Теперь список автодополнений поиска скрывается, если кликнуть в рабочую область Графа (CURS-2667)
  • При скролле страницы панель выбора расширений поискового запроса теперь не скрывается (CURS-2677)
  • Исправлены проблемы с отображением фильтров при переходе из объектно-ориентированного графа в общий граф (CURS-2687)
  • Теперь во время загрузки поисковой выдачи для каждого значения из выпадающего списка по полю сущности не отображается количество объектов, а только наименование (CURS-2691)
  • Теперь в конструкторе форм "Поля ввода" доступны для взаимодействия только в области своего отображения (CURS-2745)
  • Теперь в конструкторе форм в настройке элемента "Поле ввода" селекторы "Размер" и "Тип" раскрываются при клике на них (CURS-2747)
  • Исправлены проблемы с отображением значени в полях связей на формах, если значение не из первых 10 вариантов (CURS-2765)
  • Добавлена колонка со сроком действия учетной записи в общий список пользователей (CURS-2768)
  • Теперь в разделе "Журнал" для поиска по фильтру "Автор" используется полнотекстовый поиск (CURS-2247)
  • Добавлены стрелки для навигации по типам связей в легенде графа (CURS-2279)
  • В веб-просмотре пересечений больше не отображается общий процент пересечений в тексте просматриваемого файла со всеми остальными файлами системы (CURS-2347)
  • Добавлена настройка "Текст для пустого поля" для компонента "Ключевые слова" (CURS-2389)
  • Реализовано автоматическое переключение на первую страницу при применении фильтров и поиска к таблице (CURS-2427)
  • Добавлен индикатор цвета статусам в разделе "Индексация" (CURS-2448)
  • Актуализирован сторибук для TABLE (CURS-2504)
  • Актуализирован сторибук для COMPONENTS (Dropdown, Filter Sidebar, Cor Loader, Dropdown Menu) (CURS-2505)
  • Актуализирован сторибук для COMPONENTS (Svg Icon, Cor Tabs, Upload Area) (CURS-2506)
  • Актуализирован сторибук для CONTROLS (Slider, Switch, Textarea, Multiselect, Radio list) (CURS-2507)
  • Актуализирован сторибук для MODAL (CURS-2508)
  • Исправлено поведение при использования клавиши Tab на страницах системы. Фокус для поля "Чекбокс" (CURS-2568)
  • Исправлено поведение при использования клавиши Tab на страницах системы. Фокус для поля "Кнопка" (CURS-2569)
  • Исправлено поведение при использования клавиши Tab на страницах системы. Фокус для поля "Файл" (CURS-2570)
  • Исправлено поведение при использования клавиши Tab на страницах системы. Фокус для поля "Текст" (CURS-2571)
  • Исправлено поведение при использования клавиши Tab на страницах системы. Фокус для "Выпадающий список" и "Выпадающий список с поисковой строкой" (CURS-2609)
  • Доработка компонента выбора диапазона дат (CURS-127)
  • Убраны сокращения текста в карточке индексации (CURS-162)
  • В поиске по тексту команда для контекстных расширений заменена с lampQuery на lampQueryJson (CURS-119)
  • Добавлено регулирование правами отображение раздела "Иерархии" в меню (CURS-2805)
  • Переход в "Поиске по документу" на использование команды plagiarismSearchV2 для "Пересечений", что позволяет обрабатывать больше, чем один файл за вызов (CURS-2602)
  • Теперь возможно скрывать кнопку "Редактировать список групп" в разделе "Пользователи" с помощью настройки прав (CURS-2632)
  • Удалена зависимость "moment-range" из библиотек Verdi и Cursor (CURS-2646)
  • На форму создания/редактирования справочника добавлено поле "Доп.данные" (CURS-2690)
  • Реализована возможность опционального отображения компонента "cor-error-message" (CURS-2724)

• Документация

  • Исправлены форматирование и навигация в Slate Cursor (CURS-2746)
  • Добавлена общая документация по конфигурации логов. Ссылка добавлена в раздел каждого сервиса (CURS-2581)

• Все сервисы

  • Добавлен вывод в лог сообщения, что сервис не здоров (CURS-80)
  • Убрано логирование конфига на старте микросервисов (CURS-2540)
  • Добавлена возможность записи логов в syslog (CURS-2596)
  • Исправлены настройки соединения с БД в конфигурационных файлах (CURS-2716)
    • добавлены настройки: autoCommit, schema, isolateInternalQueries, initializationFailTimeout
    • добавлены комментарий по поводу initializationFailFast (Deprecated in slick 3.3.0)
  • Исправлены проблемы с фазами выключения сервиса при использовании TerminationCoordinator (CURS-2750)

• DataModel

  • Теперь команда richListObjects возвращать файлы связанных сущностей (CURS-2651)
  • Исправлена фильтрация по связанным сущностям в команде UpdateObjectFieldsList (CURS-2727)
  • Исправлена проблема, когда у объекта сущности обязательные поля могли быть пустым массивом, если поле имеет тип string/text и настройку multiple (CURS-2735)

v1.9.1

• Исправлена логика работы health-роутов в большинстве сервисов

v1.9

В данном релизе есть ломающие изменения (смотри ниже)

• UI

  • Автоматический скролл таблицы вверх при переключении страниц (CURS-2426)
  • Регулировать отображение кнопок на UI с помощью Actions на выполнение команд Mon (CURS-2628)
  • Исправлены баги:
  • При вводе или удалении символов в значении в поисковой строке не отображается список автодополнений (CURS-2324)
  • При использовании клавиши Tab - устанавливается фокус на задизейбленное поле и есть возможность редактирования (CURS-2517)
  • Баги по отображению компонентов на стенде после рефакторинга button (CURS-2522)
  • В панели настроек расширений запроса при поиске по новому запросу не обновляются варианты расширений (CURS-2530)
  • В конструкторе форм табы, которые не помещаются на странице, не скрываются в "Ещё" (CURS-2532)
  • При переходе "Назад" с карточки в результаты поиска по тексту - во всех фильтрах в вариантах 0 объектов (CURS-2556)
  • Компонент "Кнопка" кликабельный в состоянии disable (CURS-2642)
  • В поиске по тексту на панели настроек расширений при изменении настроек выбора части речи или количества слов не обновляется список вариантов расширения (CURS-2673)

• DataModel

  • Добавлена Команда listNonExistingFileId для фильтрации существующих объектов в сервисе МД (CURS-2301)
  • В сервисе data-model заменен валидатор схем модели данных с snowy-json на json-schema-validator (networknt) (CURS-2657)
  • Исправлены баги:
  • Баги команд DeleteObjectBatch и DeleteObjectSearch (CURS-2235)

• Indexation

  • Подключение к Lamp сделали опциональным в Indexation (CURS-2559)

Ломающие изменения:

1.Изменён интерфейс DataModelClient (может быть переопределён в тестах). Добавлены:

listNonExistingFileId getFile

2.Добавлена поддержку массивов в Search (CURS-2440)

В некоторых сервисах Cursor был применен новый формат фильтров (Search.context). Более подробно смотри документацию Verdi (PatchNotes 1.9). Ниже список сервисов и измененных команд.

Сервис data-model: listFilesInfoWithTags listTagsWithFilesCount listObjectTitles listObjectTitlesV2 listKeywords listObjects listObjectsMeta richListObjects deleteObjectSearch

Для команды "deleteObjectSearch" из data-model также был изменен текст события для журнала, т.к. в событие записываются данные из "Search" (см. поле "context" в событии). Часть шаблона сообщения, где встречаются данные из "Search": "По поисковому запросу {{data.query}} с контекстом {{data.context}}"

Сервис full-text-search: fullTextSearchDSLV2 (поле numberFacets + применяются фильтры, если были указаны в политике авторизации) fullTextSearchDSLGraphV2 (поле numberFacets + применяются фильтры, если были указаны в политике авторизации)

Сервис indexation: listIndexationDescriptionPages indexationRowsList

Сервис tolka: tolka_ListAnalyticsEntity

v1.8

Важные изменения

• Актуализирован Storybook (CURS-153)

• Исправлено множество багов в компонентах UI

• Data-model

  • В объект GetObjectLinksList добавить указание типа сущности, с которой нужно искать связь объекта (CURS-77)

v1.7.1

Важные изменения

• Data-model
  • Реализован Soft delete объектов модели данных (CURS-154, SUP-18)

v1.7

Важные изменения

• В целом по системе были подняты версии библиотек, чтобы избавиться от некоторых уязвимостей

• Data-model

  • Добавлен различный функционал связанный с хранением "Ключевых слов"

v1.6.1

Важные изменения

• Различные сервисы

  • Добавлена возможность разделить учётные данные кафки для доступов producer и consumer (SUP-132, CURS-2307)
  • Реализованы доработки позволяющие работать в системе без развернутого authzforce

• AppUi

  • Возможность завершить сеанс пользователя (SUP-135, CURS-2342)

v1.6

Важные изменения

• Full-text-search

  • В обработку команды fullTextSearchDSLV2 добавлен вариант поиска по строгой фразе (CURS-2146)
  • При поиске в поле с типом keyword теперь применяется WildcardQuery (CURS-2222)

• Indexation

  • Добавлен прототип поддержка OCR в индексации (шаг Erika) (CURS-2236)

• UI

  • Реализована вкладка "Виджеты" (CURS-1054)
  • Angular обновлен до 16 версии в Cursor в webclients, graph, ui-plugins и vespa (CURS-1124)
  • Добавлены кастомные типы связи в элемент "Таблица пересечений" (CURS-2204) и в документоцентричный граф (CURS-2218)
  • Добавлена поисковая строка в реестры (CURS-2205)
  • Установка по умолчанию типа поиска по тексту "Строгая фраза" (CURS-2255)

• Добавлены логи в формате CEF в сервисы Cursor/Verdi (CURS-36)

• В Slate внесены множественные изменения и исправления

• Полный список задач релиза зафиксирован в Confluence

v1.5.3

• service-common

  • Убрана зависимость от fs-client (SUP-66)

• Tolka

  • Исправлено: Не работает сортировка по умолчанию по проценту пересечений (CUR-2025)

• В нескольких сервисах выставлено дефолтное значение allowInternalCommands=true (SUP-77)

v1.5.2

Версия от 04.07.2023. Список изменений:

• DataModel:
  • Исправлен HealthCheck роут (SUP-48)

v1.5.1

Версия от 27.06.2023. Список изменений:

• AppUI
  • Исправлено: В поиске с исп. документа не работает фильтр по проценту содержательных пересечений

v1.5

Версия от 06.06.2023. Список изменений:

• Общее

  • Исправлена и дополнена документация в различных разделах Cursor
  • Исправлены различные баги в рамках исправлений по 9 этапу

• DataModel:

  • Добавлен фильтр RangeQuery по полям сущности (SUP-57)
  • Исправлено: при указании фильтра по полю created - фильтрация работает некорректно если указана комбинация фильтров

• DataModelClient:

  • Добавлена команда listFilesInfoWithTags (SUP-14)

• UI

  • Исправлено: Некорректно работает компонент ввода даты из двух полей
  • Исправлено: На странице настройки стартового экрана при нажатии отмены не сбрасываются изменения настроек
  • Исправлено: Различается отображение длинных текстовых/ссылочных наименований/ID в таблицах системы

• Indexation (+DataModel)

  • Добавлена постраничная обработка файлов при индексации сущностей

• Tolka

  • Создан сервис аналитики
  • Виджеты (хранение, вычисление данных)
  • Настройки порогов
  • Страница аналитики (виджеты и поисковая выдача) в appui (проект @corund/analytics)

v1.4.1

Версия от 03.05.2023. Список изменений:

• Appui

  • Исправлено:
  • В поиске с использованием документа напротив сниппетов не отображается процент пересечения

• Integration:

  • Добавлен http-route для проверки жизни сервиса с помощью ServiceHealthApi

• UI-Storage:

  • Добавлен http-route для проверки жизни сервиса с помощью ServiceHealthApi

• Marker-Service

  • Добавлен http-route для проверки жизни сервиса с помощью ServiceHealthApi

v1.4

Версия от 22.03.2023. Список изменений:

• Integration:
  • Доработано внешнее API для работы с отношениями
• Full-text-search:
  • Доработана обработка ошибок при неверном формате входных данных
  • Исправлена документация
  • Добавлена авторизация на все команды сервиса с публикацией всех нужных констант
  • Добавлена поддержка числовых фасетов во всех видах поиска в поле numberFacets
• DataModel:
  • Доработана обработка ошибок при неверном формате входных данных у команд для работы с тегами файлов, getFile, deleteObject
  • В команды listObjects и richListObjects добавлена сортировка по created
  • В командах, работающих по externalId для отношений возвращаются также externalId, а не внутренние id
  • Добавлена команда установки новых отношений по externalId
  • Исправлены ошибки команд для получения списков объектов
  • Служебные поля (id, entityType, created, и т.д.) теперь передаются с подчеркиванием в начале (_id, _entityType, _created, и т.д.) в результатах RichGet команд
  • Исправлена фильтрация по id файла в командах ListFilesInfoWithTags и ListTagsWithFilesCount
  • Добавлены команды для удаления нескольких объектов DeleteObjectBatch и DeleteObjectSearch
  • Добавлена генерация событий при удалении/изменении файлов у объектов
  • Исправлены ошибки сортировки команды richListObjects
• Indexation:
  • Исправлена ошибка, из-за которой не удалялись шаги удаленных индексаций
  • Добавлено удаление данных из LAMP при получении события об удалении файлов у объекта
• UI-Storage:
  • Добавлена публикация авторизационных констант в сервисе Attila

Общие типы данных

Search

Для некоторых команд предусматривается фильтрация, сортировка и пагинация результата. Для этих целей был добавлен объект Search, который передается в качестве параметров к команде.
Также в этот объект можно преобразовать фильтры из ответа авторизации AuthorizationResult.

Search - универсальный тип параметров списочного запроса. Он состоит из полей

Filter query

Является строкой с запросом для фильтрации при выполнении команды.
Запрос состоит из названий атрибутов фильтруемого ресурса и способов их комбинирования:

• "фильтр для поля" = название атрибута у ресурса, по которому предполагается поиск. Обычно это ресурс из результата команды.
• "комбинация фильтров" = бинарные операции || и && с возможностью группировки через круглые скобки ( и ).

Filter context

С помощью контекста передаются параметры для фильтрации полей из query.
Контекст является JSON объектом, который представляет собой тип Map[String, Json], где

• поле JSON объекта является ключом для Map[String, Json] и должно быть упомянуто в поле query (т.е. иметь название атрибута ресурса).
• значение поля JSON объекта является контекстом для фильтра FilterQueryContext. Каждый фильтр имеет свой формат.

FilterQueryContext

Общий тип для всех видов фильтров. Существует несколько реализаций, у которых может поддерживаться несколько форматов для записи условия.
Рекомендуется передавать все условия фильтрации в виде JSON объекта, как более очевидный формат.

InSetQuery

Фильтрация атрибута ресурса по списку значений. Если значение атрибута ресурса является массивом, то условие фильтрации возвращает TRUE, если этот массив и список значений для условия фильтрации пересекаются хотя бы по одному элементу. Иначе условие фильтрации возвращает TRUE, если одиночное значение из атрибута соответствует хотя бы одному значению из фильтра.

Возможные форматы:

• "some value" - строка из одного значения, которая преобразуется в объект {"values": ["some value"], "kind": "any", "negation": false}.
• JSON объект, который содержит, как минимум, обязательные поля. Необязательные поля могут принимать значение null.

В формат с одной строкой нельзя добавить отрицание (negation), т.к. вся строка является значением для фильтра. Например, "not some value" будет преобразовано в {"values": ["not some value"], "kind": "any", "negation": false}.

AllInSetQuery

Фильтрация массива из атрибута ресурса по списку значений. Условие фильтрации возвращает TRUE, если массив из атрибута содержит все значения из фильтра. Работает только для полей, являющихся массивом.

Возможные форматы:

• JSON объект, который содержит, как минимум, обязательные поля. Необязательные поля могут принимать значение null.

LikeQuery

Фильтрация атрибута ресурса по шаблону. Условие фильтрации возвращает TRUE, если значение из атрибута соотвествует шаблону.
Данный фильтр соответствует фильтру like из SQL. Например, like в PostgreSQL.

В поле likequery, помимо слов для условия, поддерживаются символы % - неограниченное кол-во любых символов, _ - только один любой символ, которые можно использовать несколько раз подряд. Например, "%s_me thi__%".

Возможные форматы:

• "like %some%value%" - строка из одного значения с указанием типа фильтра, которая преобразуется в объект {"likequery": "%some%value%", "kind": "like", "negation": false}.
• JSON объект, который содержит, как минимум, обязательные поля. Необязательные поля могут принимать значение null.

Чтобы добавить отрицание (negation) в формат со строкой, нужно перед условием фильтрации добавить not, разделив условие и отрицание пробелом. Например, "not like %anything%".

TsQuery

Фильтрация атрибута ресурса по условие для полнотекстового поиска PostgreSQL. Условие фильтрации возвращает TRUE, если значение из атрибута соотвествует условию.
Операторы: '&' - И, '|' - ИЛИ, ':*' - начало слова, также возможно отрицание через добавление '!'. Допустимо использование логического объединения с помощью скобок '(' и ')'.

В поле tsquery, помимо слов для условия, поддерживаются следующие операторы: & - И, | - ИЛИ, :* - начало слова, также возможно отрицание через добавление ! перед словом.
Допустимо использование логического объединения с помощью скобок ( и ).

Возможные форматы:

• "ts (Олег | Ольга | Wolfg:*) & !Игорь" - строка из одного значения с указанием типа фильтра, которая преобразуется в объект {"tsquery": "(Олег | Ольга | Wolfg:*) & !Игорь", "kind": "ts", "negation": false}.
• JSON объект, который содержит, как минимум, обязательные поля. Необязательные поля могут принимать значение null.

Чтобы добавить отрицание (negation) в формат со строкой, нужно перед условием фильтрации добавить not, разделив условие и отрицание пробелом. Например, "not ts !Митя".

RangeQuery

Фильтрация атрибута ресурса по условию вхождения в интервал из значения фильтра. Условие фильтрации: from <= targetValue <= to.

Если поля from и to не указаны, то условие всегда вернет true.

Возможные форматы:

• "10_20" - строка с двумя значениями интервала, которая преобразуется в объект {"from": 10, "to": 20, "kind": "range", "negation": false}.
• "10_" - строка только с началом интервала, которая преобразуется в объект {"from": 10, "to": null, "kind": "range", "negation": false}.
• "_20" - строка только с окончанием интервала, которая преобразуется в объект {"from": null, "to": 20, "kind": "range", "negation": false}.
• "_" - строка без значений интервала, которая преобразуется в объект {"from": null, "to": null, "kind": "range", "negation": false}.
• JSON объект, который содержит, как минимум, обязательные поля. Необязательные поля могут принимать значение null.

Чтобы добавить отрицание (negation) в формат со строкой, нужно перед условием фильтрации добавить not, разделив условие и отрицание пробелом. Например, "not _12".

Sorting

Sorting - параметры сортировки

Paging

Paging - параметры пейджинга

Page

Страница списка элементов (часть списка с примененным пейджингом)

AuthorizationResult

Результат выполнения запроса авторизации

PositionInList

Позиция объекта в списке

EntityObjectIdentity

EntityTypeId

Соответствует типу String. Содержит идентификатор, который, чаще всего, имеет формат UUID, но это не является обязательным требованием.

StepProgress

FailedStepProgress

ObjectId

Соответствует типу UUID.

ObjectFileId

Соответствует типу UUID.

FieldId

Соответствует типу String.

AdditionalFieldName

Соответствует типу String.

ObjectFile

GeneratedFile

EntityObjectEvent

EntityObjectEventAdditionalData

Один из нескольких вариантов:

• UpdateAdditionalData - данные передаваемые при обновлении сущности в data-model
• PluginBackLinksAdditionalData - данные передаваемые при запросе на переиндексацию объектов без поиска backlinks
  

PluginBackLinksAdditionalData

EntityObject

Данные объекта сущности

Типы данных из verdi-libs

Описание типов данных дублирует документацию из Verdi. Добавлено для более удобной навигации.

CommandStatus

Описывает статус выполнения команды.

ErrorResponse

Ответ команды с ошибкой в качестве результата.

ErrorResponseCode

Код обозначающий тип ошибки в ответе.

FSConfigRep (FSClient)

Отображение FSConfig в "плоской форме", как он выглядит в конфиге приложения application.conf.

FSConfig (FSClient)

Конфигурация клиента файлового хранилища.

FSBucketConfig (FSClient)

Данные для аутентификации, которые привязаны к конкретному бакету.

FSCredentials (FSClient)

Данные для аутентификации.

VerdiCacheConfig (Verdi-cache)

Настройки кеширования

KafkaAuthConfig (senderlib)

Параметры для авторизации kafka-клиента (доступ к топикам).

PasswordBasedCredentials (senderlib)

KerberosBasedCredentials (senderlib)

NB! Для успешной работы авторизации в kafka с помощью kerberos нужно, чтобы kerberos мог найти файл krb5.conf. По умолчанию он ищет в /etc/krb5.conf, поэтому на стендах файл всегда должен лежать в /etc/krb5.conf. Для локальной работы поменять это поведение можно, установив переменную System.setProperty("java.security.krb5.conf", "желаемый путь до krb5.conf")

TrustStoreConfig (senderlib)

Параметры для хранилища сертификатов (Java key store)

KafkaAuthSettings (senderlib)

Параметры для авторизации kafka-клиента (доступ к топикам).

RetrySettings (senderlib)

Настойки для повтороного вызова функций

CommandResultRetryConditionKind (senderlib)

Вид условия, по которому результат команды будет считаться неуспешным и команду следует вызвать повторно.
Соответствует типу String.

Функционал фильтров и сортировки

Для некоторых команд можно передавать параметры запроса в виде объекта Search, который содержит информацию о том как нужно отфильтровать, отсортировать запрос и как разделить его на страницы.

Фильтрация

  {
     "query": "count && (created || modified)",
     "context": {
       "count": "1_1000",
       "created": "1630326000_",
       "modified": "_1630327000"
     }
   }

Фильтрация состоит из двух полей:

• query описывает условие для фильтрации с использованием названий полей
• context описывает значение для полей, указанных в query

Query поддерживает операторы && и || + скобки.
В Context-е можно описать несколько видов проверок для полей:

1) Условие равенства переданному значению.
{ "context": { "fieldName": "какое-то значение" } }

2) Условие равенства какому-то одному значению из предоставленного списка.
{ "context": { "fieldName": "[первое значение, второе, другое]" } } или { "context": { "fieldName": "any[первое значение, второе, другое]" } }

3) Условие наличия всех значений из предоставленного списка в массиве всех значений objectFieldName, которые присутствуют в объектах поля arrayFieldName. Работает только для полей arrayFieldName, содержащих массив. Предоставленный в запросе список должен содержать не менее двух значений.
{ "context": { "arrayFieldName.objectFieldName": "all[первое значение, второе, другое]" } }

4) Условие соответствия паттерну
Значение поля обязательно должно начинаться со слова like.
{ "context": { "fieldName": "like какое%значен__" } }

5) Условие вхождения значения в заданный диапазон. В данный момент, поддерживаются только целые числа. Начало и конец диапазона разделяются знаком _. Оба конца диапазона опциональны и они включаются в диапазон. Если передать просто _, то результатом будет пустой диапазон, в который не входит ни один элемент и ответ тоже будет пустой.

6) Условие текствого поиска PGSQL
Значение поля обязательно должно начинаться со слова ts.
{ "context": { "fieldName": "ts (this | that) & the:*" } }

Сортировка

{
  "sorting": {
    "fieldName": "number",
    "order": "desc"
  }
}

Сортировка определяется двумя полями:

• fieldName название поля, по которому будет производиться сортировка
• order направление сортировки. Бывает двух видов: asc, desc.

Настройки логеров

Конфигурация для логера указывается в файле src/main/resources/logback.xml (или logback-test.xml). Если такого файла нет, то будет использована "базовая" конфигурация с выводом лога в консоль (stdout) в следующем формате:
%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} -%kvp- %msg%n.

Некоторые параметры из файла конфигурации можно задать через переменные окружения. Ниже приведен список общих переменных окружения, которые есть почти в каждом сервисе, но конфигурация не ограничивается только ими.
У каждого сервиса свой набор переменных и может присутствовать префикс у каждой переменной (например, MON_ или TOLKA_). В таком случае, префикс должен быть добавлен и к переменным окружения для логеров.

Пример:
В документации приведена общая переменная окружения для уровня логирования LOG_LEVEL, но у сервиса "Oberto" для всех переменных окружения используется префикс OBERTO_. Поэтому, чтобы настроить общий уровень логирования для сервиса "Oberto", нужно использовать переменную OBERTO_LOG_LEVEL вместо LOG_LEVEL.

Чтобы узнать, используется ли какой-то префикс в сервисе, можно посмотреть на список переменных в документации к сервису.

LOG_OUTPUT

Задает, куда будет выводиться сообщения лога. Может принимать следующие значения:
STDOUT - обычный лог в консоль.
STDOUT_CEF - лог в формате CEF в консоль.
STDOUT_CEF_JSON - лог в формате JSON в консоль, но со структурой сообщений CEF.
FILE - обычный лог в файл.
FILE_CEF - лог в формате CEF в файл.
FILE_CEF_JSON - лог в формате JSON в файл, но со структурой сообщений CEF.
SYSLOG - обычный лог в SYSLOG.
SYSLOG_CEF - лог в формате CEF в SYSLOG.
SYSLOG_CEF_JSON - лог в формате JSON в SYSLOG, но со структурой сообщений CEF.

Данный параметр может принимать несколько значений через любой разделитель (например, через пробел "STDOUT FILE_CEF"). Если указано несколько значений с одним типом вывода, то будет учитываться только вывод в формате CEF.
Например: если присутствуют "STDOUT" + "STDOUT_CEF", то учитывается только "STDOUT_CEF"; "FILE" + "FILE_CEF" = "FILE_CEF"; "SYSLOG" + "SYSLOG_CEF" = "SYSLOG_CEF".

LOG_LEVEL

Стандартный уровень логирования, который будет считаться значением по умолчанию для логеров, у которых уровень логирования не задается в отдельной переменной.
Значения в переменной характеризуют, насколько детальными будут сообщения в логе.
Может принимать следующие значения:
TRACE - максимально подробные сообщения.
DEBUG - менее подробные сообщения, чем в TRACE, но достаточные для debug-а.
INFO - логирование основных событий во время работы приложения. Считается стандартным уровнем логирования.
WARN - логирование только важных событий.
ERROR - логирование только сообщений об ошибках.
OFF - отключение лога.

Каждый уровень включает в себя все последующие, поэтому TRACE наиболее подробный, т.к. содержит все возможные сообщения, а WARN менее подробный, т.к. содержит только сообщения об ошибках и других важных событиях, но не содержит "стандартные" события из уровня INFO.

Если у конкретного логера есть отдельная настройка для уровня логирования, то она будет перекрывать общую настройку из LOG_LEVEL.

Переменные для указания уровня логирования конкретных логеров

В каждом сервисе/приложении по своему настроены логеры, которые будут привязаны к какой-то из переменных. Далее будут описаны лишь общий смысл переменных и какого вида сообщения можно ожидать от привязанных логеров.

LOG_LEVEL_HTTP - логер для HTTP сервера/клиента, отображающий события во время обработки HTTP вызова. Значение по умолчанию "INFO".
LOG_LEVEL_NIOSOCKET - логер для бекенда HTTP сервера/клиента, отображающий низкоуровневые события во время обработки HTTP вызова. Значение по умолчанию "WARN".

LOG_LEVEL_AKKA - логер для системы акторов, отображающий специфичные для Akka сообщения (из тред пула, из стримов, из акторов). Значение по умолчанию "INFO".
LOG_LEVEL_LIQUIBASE - логер для liquibase (миграции БД). Почти не используются, только если миграции не вызываются во время работы сервиса (как в data-model). Значение по умолчанию "INFO".

LOG_LEVEL_SLICK_STATEMENT - логер для slick (вывод sql запросов). Значение по умолчанию "WARN".
LOG_LEVEL_SLICK_BENCHMARK - логер для slick (вывод времени подготовки sql запросов). Значение по умолчанию "OFF".
LOG_LEVEL_SLICK_QUERY_COMPILER - логер для slick (вывод времени подготовки sql запросов с разделением по стадиям). Значение по умолчанию "OFF".

Обычно, в Kafka логерах отображается низкоуровневая информация о полученных или отправленных сообщениях, текущее состояние и настройки клиентов, логирование протокола общения между клиентом и брокером.

LOG_LEVEL_KAFKA, LOG_LEVEL_KAFKA_PRODUCER, LOG_LEVEL_KAFKA_CONSUMER - логер для Kafka клиентов (продюсер и консьюмер). Обычно используется или общая переменная, или по одной для консьюмера и продюсера. Значение по умолчанию "WARN".
LOG_LEVEL_KAFKA_HTTP - логер для HTTP бекенда Kafka клиентов. Значение по умолчанию "WARN".
LOG_LEVEL_KAFKA_INTERNAL - логер для внутренних сообщений Kafka клиентов (metadata). Значение по умолчанию "INFO".
LOG_LEVEL_KAFKA_SELECTOR - логер для общего сетевой библиотеки всех клиента Kafka (логирует SSL handshake). Значение по умолчанию "INFO".
LOG_LEVEL_KAFKA_NETWORK_CLIENT - логер для общего сетевой библиотеки всех клиента Kafka (низкоуровневый клиент). Значение по умолчанию "INFO".
LOG_LEVEL_KAFKA_STREAMING_PRODUCER - логер для Kafka producer. Значение по умолчанию "INFO".
LOG_LEVEL_ZIO_KAFKA - логер для ZIO версии Kafka producer. Значение по умолчанию "INFO".

LOG_LEVEL_AKKAHTTPSENDER - логер для отправки команд по HTTP. Значение по умолчанию "WARN".
LOG_LEVEL_KAFKASENDER - логер для отправки команд по Kafka. Значение по умолчанию "TRACE".
LOG_LEVEL_COMMANDSTATUS_CLIENT - логер для клиента CommandStatus. Значение по умолчанию "WARN".
LOG_LEVEL_AUTHZCLIENT - логер для клиента авторизации (к authzfroce или oberto). Значение по умолчанию "ERROR".
LOG_JSON_SPACES - определяет форматирование JSON-а в сообщениях логера:
noSpaces - без переносов строк и отступов,
spaces2 - с переносами строк и с отступами в два пробела.
Значение по умолчанию "noSpaces".

Параметры для настройки логирования в формате CEF.

У логов есть возможность включить формат CEF для логирования по следующему шаблону:
2022-12-14T16:56:31+0500 CEF:Version|Device Vendor|Device Product|Device Version|EventClassId|Message|Severity|src=? dst=? shost=? suid=? suser=? msg=? end=currentTimeMillis|.

Чтобы включить логирование в формате CEF, нужно задать в переменной LOG_OUTPUT значение с постфиксом, который содержит _CEF (например, LOG_OUTPUT = STDOUT_CEF или LOG_OUTPUT = FILE_CEF_JSON).

В каждом logback.xml файле есть свойство, которое задает "main class" всего приложения. Этот класс нужен для получения параметров записи сообщений в формате CEF.
У данного свойства нет переменной окружения, но его можно поменять прямо в файле.
Значение (value) свойства зависит от сервиса, но обычно оно задано как
<property scope="context" name="projectMainClassPath" value="com.embedika.Main"/>

В каждом application.conf файле указаны параметры для логирования в формате CEF, которые по умолчанию не заданы.
Если логи пишутся в формате CEF, то необходимо задать следующие переменные:

1. LOGGING_SRC_IP Параметр SRC (источник/source, на который ссылается событие) для логов в формате CEF. Если не установлена, src=notFound. Требуемый формат: IPv4, например "192.168.10.1".

2. LOGGING_SRC_HOST Параметр SHOST (источник/source, на который ссылается событие) для логов в формате CEF. Если не установлена, shost=notFound. Требуемый формат: fully qualified domain name (FQDN), например "host" или "host.domain.com".

3. LOGGING_DST_IP Параметр DST (получатель/destination, на который ссылается событие) для логов в формате CEF. Если не установлена, dst=notFound. Требуемый формат: IPv4, например "192.168.10.1".

4. LOGGING_CEF_VER Версия формата CEF: либо 0, либо 1. Рекомендуется использовать 0.
   Значение по умолчанию "0".

Параметры для настройки логирования в формате SYSLOG

В конфиге есть возможность настроить отправку логов в какой-нибудь SYSLOG сервер. Для отправки логов используется Syslog4j.

Чтобы включить логирование в SYSLOG, нужно задать в переменной LOG_OUTPUT значение с префиксом SYSLOG_ (например, LOG_OUTPUT = SYSLOG_CEF).

1. LOG_SYSLOG_TYPE Протокол взаимодействия с SYSLOG сервером. Может принимать значения "UDP", "TCP" или "TLS".
   Значение по умолчанию "UDP".
   Значения из переменной LOG_SYSLOG_TYPE конвертируются в классы Syslog4j:
       TSL -> org.productivity.java.syslog4j.impl.net.tcp.ssl.SSLTCPNetSyslogConfig
       TCP -> org.productivity.java.syslog4j.impl.net.tcp.TCPNetSyslogConfig
       UDP -> org.productivity.java.syslog4j.impl.net.udp.UDPNetSyslogConfig
   
   Если задано значение TLS, то необходимо еще настроить и параметры для SSL
   Документацию по Java KeyStore и Truststore https://docs.oracle.com/cd/E19509-01/820-3503/ggffo/index.html
   
   LOG_SYSLOG_KEYSTORE
       Путь до файла KEYSTORE
   
   LOG_SYSLOG_KEYSTORE_PASS
       Пароль для файла в LOG_SYSLOG_KEYSTORE
   
   LOG_SYSLOG_TRUSTSTORE
       Путь до файла TRUSTSTORE
   
   LOG_SYSLOG_TRUSTSTORE_PASS
       Пароль для файла в LOG_SYSLOG_TRUSTSTORE
   

2. LOG_SYSLOG_PATTERN
   Шаблон для сообщений. Не учитывается для "LOG_OUTPUT = SYSLOG_CEF", т.к. используется шаблон для CEF.
   Документация по шаблонам https://logback.qos.ch/manual/layouts.html#ClassicPatternLayout.
   Значение по умолчанию [%level] [%logger] [%thread] - %msg%n.
   

3. LOG_SYSLOG_HOST
   Хост SYSLOG сервиса в формате IPv4. Требуемый формат: IPv4.
   Значение по умолчанию "127.0.0.1".
   

4. LOG_SYSLOG_PORT
   Порт SYSLOG сервиса. Может принимать любое положительное число.
   Значение по умолчанию "514".
   

5. LOG_SYSLOG_FACILITY
   К сожалению, LOG_SYSLOG_FACILITY задается только через int код, а не string.
   Список кодов для переменной:
   KERN = 0
   USER = 8
   MAIL = 16
   DAEMON = 24
   AUTH = 32
   SYSLOG = 40
   LPR = 48
   NEWS = 56
   UUCP = 64
   CRON = 72
   AUTHPRIV = 80
   FTP = 88
   
   LOCAL0 = 128
   LOCAL1 = 136
   LOCAL2 = 144
   LOCAL3 = 152
   LOCAL4 = 160
   LOCAL5 = 168
   LOCAL6 = 176
   LOCAL7 = 184
   
   Значение по умолчанию "8".
   

6. LOG_SYSLOG_IDENT
   Идентификатор SYSLOG клиента. Может принимать любую строку.
   Значение по умолчанию зависит от сервиса и обычно является названием сервиса ("mon", "oberto" и т.п.).

7. LOG_SYSLOG_MAX_MSG_SIZE
   Максимальны размер одного сообщения лога в байтах. Может принимать любое число.
   Значение по умолчанию "65536".
   

Скрипт для формирования ROOT logger-а для logback.xml

В репозитории сервисов Verdi был добавлен скрипт "logback_config_generation.sc" для формирования ROOT логера. Этот скрипт можно запустить, например, в scala worksheet.

Объявление root логера в конфиге может быть достаточно большим, если количество уникальных вариантов вывода лога больше трех или четырех, т.к. мы должны учитывать все способы вывода из переменной LOG_OUTPUT.
В таком случае, добавление новых опций для вывода становится проблематичным (требует какого-то времени), тогда и может пригодиться данный скрипт.
В конце выполнения, скрипт делает println с получившимся XML-ом, который можно просто вставить в файл с конфигом.

Сервис ограниченных контекстов - ОК

В сервисе реализованы следующие команды

• Агрегирующий поиск в ограниченном контексте
• Поиск по ветке куста ограниченного контексте
• Создание ограниченного контекста
• Получение ограниченного контекста
• Получение списка ограниченных контекстов
• Удаление ограниченного контекста
• Обновление ограниченного контекста

Общее описание архитектуры сервиса ОК

Конфигурирование сервиса ОК

Требование к запуску сервиса ОК

Запуск сервиса осуществляется локально через sbt, на стенде в docker на jvm. Для корректной минимальной работы сервиса требуется обязательное подключение к Kafka, Consul, PostrgeSQL. Для нормальной работы сервису дополнительно требуется окружение Verdi: CommandStatus и ApiGateway.

Список переменных окружения сервиса ОК

Модель сервиса ОК

Bush

Ограниченный контекст

BushcraftSearchRequest

Форма агрегирующего поиска в ограниченном контексте

EntityObjectIdentity

Полный идентификатор объекта

BranchUnfoldRequest

Форма агрегирующего поиска в отдельной ветке ограниченного контекста

BushCreateDTO

Форма создание ограниченного контекста

Команды сервиса ОК

bushSearch

Агрегирующий поиск в ограниченном контексте

На входе поисковый запрос

{
    "query": "электроконтактная",
    "paging": {
        "page": 1,
        "count": 40
    },
    "bushId": "fixedBush"
}

В результате куст объектов

{
  "status": "Completed",
  "timestamp": 1651387723970,
  "value": {
    "documents": [
      {
        "document": {
          "id": "508d1853-1648-4558-a9f9-e590876018b4",
          "entityType": "links",
          "highlight": {},
          "data": ... // doc data
        },
        "matchedChildren": {
          "Patent": 2
        }
      },
      {
        "document": {
          "id": "eaeda9a3-5454-4cc0-902a-a7f854a2bd96",
          "entityType": "1thesis",
          "highlight": {},
          "data": ... // doc data
        },
        "matchedChildren": {
          "RfbrDocument": 4
        }
      },
      ... // others docs
    ],
    "total": 25
  }
}

Поддерживается только синхронный вызов

• На входе: BushcraftSearchRequest
• На выходе: AggregationSearchResult

branchUnfold

Поиск по ветке куста ограниченного контексте

На входе поисковый запрос

{
    "query": "электроконтактная",
    "paging": {
        "page": 1,
        "count": 40
    },
    "bushId": "fixedBush",
    "root": {
        "entityType": "Patent",
        "objectId": "c7feabde-09cd-463c-ab4e-968178e7ab37"
    },
    "branchType": "RfbrDocument"
}

В результате ветка куста объектов

{
  "status": "Completed",
  "timestamp": 1651388234581,
  "value": {
    "documents": [
      {
        "id": "975975bb-ece6-4aca-80fc-5f227e982582",
        "entityType": "RfbrDocument",
        "highlight": {
          "newFileContent": [
            "И, действительно, !!!HL!!электроконтактная!!HL!!! методика, о которой я здесь\nрассказываю, в скором времени сыграла",
            "Результаты\nизмерений, полученные с помощью !!!HL!!электроконтактной!!HL!!! методики (в\nсочетании с другими), позволили",
            "С помощью !!!HL!!электроконтактной!!HL!!! методики уже в 1948 году были\nполучены первые экспериментальные данные о",
            "моей сохранилось чувство признательности и даже\nгордости от того, что в этой нашей работе по созданию !!!HL!!электроконтактной!!HL!!!",
            "Опыты намечалось проводить с применением !!!HL!!электроконтактной!!HL!!! методики измерения скоростей."
          ]
        },
        "data": ... // doc data
      },
      {
        "id": "1f398276-efb3-41c9-994d-6680681d59f5",
        "entityType": "RfbrDocument",
        "highlight": {
          "newFileContent": [
            "камера; 2 — пьезокварцевый датчик давления; З капсюльвоспламенитель; 4 — метаемое тело с полостью; 5 !!!HL!!электроконтактное!!HL!!!"
          ]
        },
        "data": ... // doc data
      }
    ],
    "total": 2
  }
}

Поддерживается только синхронный вызов

• На входе: BranchUnfoldRequest
• На выходе: AggregationSearchResult если найденные документы сами являются корнями или ByParentSearchResult если документы являются листьями

createBush

Создание ограниченного контекста

На входе форма создания

{
  "id": "fixedBush",
  "relations": {
    "links": {"Patent": {"RfbrDocument": {}}},
    "1thesis": {"RfbrDocument": {}},
    "poems": {"kate": {}}
  }
}

В результате идентификатор успешно созданного контекста

"fixedBush"

Поддерживается только синхронный вызов

• На входе: BushCreateDTO
• На выходе: String

getBush

Получение ограниченного контекста

На входе идентификатор ограниченного контекста

"fixedBush"

В результате ограниченный контекст

{
  "id": "fixedBush",
  "relations": {
    "links": {"Patent": {"RfbrDocument": {}}},
    "1thesis": {"RfbrDocument": {}},
    "poems": {"kate": {}}
  }
}

Поддерживается только синхронный вызов

• На входе: String
• На выходе: BushCreateDTO

listBush

Получение списка ограниченных контекстов

Входных данных нет

В результате список ограниченных контекстов

[
  {
    "id": "fixedBush",
    "relations": {
      "links": {
        "Patent": {
          "RfbrDocument": {}
        }
      },
      "poems": {
        "kate": {}
      },
      "1thesis": {
        "RfbrDocument": {}
      }
    },
    "version": 1
  }
]

Поддерживается только синхронный вызов

• Команда не принимает параметров
• На выходе: Seq[Bush]

deleteBush

Удаление ограниченного контекста

На входе идентификатор контекста

"fixedBush"

В результате кол-во удаленных записей

Поддерживается только синхронный вызов

• На входе: String
• На выходе: Integer

updateBush

Обновление ограниченного контекста

На входе описание контекста

{
  "id": "fixedBush",
  "relations": {
    "links": {"Patent": {"RfbrDocument": {}}},
    "1thesis": {"RfbrDocument": {}},
    "newRoot": {"newLeaf": {}}
  },
  "version": 1
}

В результате кол-во обновленных записей

Поддерживается только синхронный вызов

• На входе: Bush
• На выходе: Integer

Exporter: сервис для экспорта данных

Сервис принимает команды для работы с игроками и командами. Состояние хранится в PostgreSQL. Команды могут приходить как по HTTP, так и через Kafka в топик exporter_commands.

Сервис разбит на несколько модулей, в виде sbt проектов:

• domain, в котором содержатся все доменные модели и их различные представления.
• commands, в котором содержатся все? что связано с командами, их описанием и обработчиками.
• infrastructure, в котором содержится описание взаимодействия с другими сервисами.
• storage, содержит сервисы для сохранения и чтения их разных хранилищ доменных моделей.
• service, содержит сервисы бизнес логики, которые определяют правила взаимодействия компонентов между собой.
• boot, содержит зависимости и описание для сборки и запуска сервиса.

Информация по добавлению команд можно прочитать в описании шаблона

Локальный запуск

При запуске сервиса ожидается, что уже развернута необходимая инфраструктура:

• PostgreSQL база по адресу localhost:5432/exporter_db
• Kafka по адресу localhost:9092
• Consul по адресу localhost:8500
• Адрес Kafka будет указан в application.conf
• Добавлены необходимые переменные окружения:
  • EXPORTER_DB_HOST
  • EXPORTER_DB_PORT
  • EXPORTER_DB_NAME
  • EXPORTER_DB_USER
  • EXPORTER_DB_PASSWORD

Запуск из консоли с помощью SBT

EXPORTER_DB_HOST=localhost EXPORTER_DB_PORT=5432 EXPORTER_DB_NAME=exporter_db EXPORTER_DB_USER=postgres EXPORTER_DB_PASSWORD=12345 sbt boot/run

Список переменных окружения сервиса Exporter

Все доступные переменные окружения для настройки сервиса.

Список команд сервиса Exporter

Список реализованных в сервисе команд, моделей EntityType и действий Actions, которые можно использовать при настройке авторизации.

В описании команд используется путь/route для отправки команды в сам сервис, а не в ApiGateway. В качестве Input-а для команд, сервис всегда ожидает CommandRequest (как и любой другой сервис, принимающий команды), так что в описании команды указано лишь описание поля payload для CommandRequest.

ListExportProcess

Payload для команды

 {
  "query": "",
  "context": {},
  "sorting": {
    "fieldName": "entityType",
    "order": "desc"
  },
  "paging": {
    "page": 1,
    "count": 10
  }
}

Результат выполнения команды

{
  "items": [
    {
      "id": "b251c2e5-e12c-4792-b6f4-6578bfd4d6cd",
      "entityType": "abc",
      "status": "DRAFT",
      "exportConfig": {
        "title": "Sample Project Title"
      },
      "exportFile": "some file",
      "resultFile": null,
      "info": {},
      "created": 1723809067603,
      "createdBy": "7099494d-0a5f-47ff-bc52-9cfb74ffe282",
      "modified": 1723809067603,
      "modifiedBy": "7099494d-0a5f-47ff-bc52-9cfb74ffe282",
      "executed": null,
      "executedBy": null,
      "version": 1
    }
  ],
  "total": 1
}

Возвращает список всех задач экспорта.

Поддерживается только синхронный вызов.

• На входе: Option[Search]
• На выходе: Page[ExportProcess]

Доступные поля для фильтрации и виды фильтров по ним:

Доступные поля для сортировки:

GetExportProcess

Payload для команды

"f283aac5-88e0-43b5-8dab-56c22d91acc7"

Результат выполнения команды

{
  "id": "b251c2e5-e12c-4792-b6f4-6578bfd4d6cd",
  "entityType": "abc",
  "status": "DRAFT",
  "exportConfig": {
    "title": "Sample Project Title"
  },
  "exportFile": "some file",
  "resultFile": null,
  "info": {},
  "created": 1723809067603,
  "createdBy": "7099494d-0a5f-47ff-bc52-9cfb74ffe282",
  "modified": 1723809067603,
  "modifiedBy": "7099494d-0a5f-47ff-bc52-9cfb74ffe282",
  "executed": null,
  "executedBy": null,
  "version": 1
}

Поиск задачи экспорта с заданным идентификатором.

Поддерживается только синхронный вызов.

• На входе: ExportProcessId (UUID)
• На выходе: ExportProcess

CreateExportProcess

Payload для команды

{
  "entityType": "abc",
  "exportConfig": {
    "title": "Sample Project Title"
  },
  "exportFile": "some file",
  "exportFileName": "export"
}

Результат выполнения команды

"f283aac5-88e0-43b5-8dab-56c22d91acc7"

Добавляет новую задачу экспорта с заданными параметрами.

exportFileName - поле, указывающее название файла. Если оно указано, так и запишется в таблицу ExportProcess. Если не указано - попытается взять из таблицы ExportTemplate по переданному exportTemplateId. Иначе поле будет пустое и файл будет иметь дефолтное название.

Отправляет событие о создании задачи экспорта.

Поддерживается асинхронный и синхронный вызов.

• На входе: ExportProcessCreateDto
• На выходе: ExportProcessId (UUID)

UpdateExportProcess

Payload для команды

{
  "id": "f283aac5-88e0-43b5-8dab-56c22d91acc7",
  "entityType": "abc",
  "exportConfig": {
    "startRow": 3,
    "columnMapping": [
      {
        "property": "title",
        "columnLabel": "A"
      }
    ]
  },
  "exportFile": "bucket/file_id",
  "version": 1
}

Результат выполнения команды

true

Обновляет данные задачи экспорта. Отправляет событие об обновлении задачи экспорта.

Поддерживается асинхронный и синхронный вызов.

• На входе: ExportProcessUpdateDto
• На выходе: Boolean

DeleteExportProcess

Payload для команды

"f283aac5-88e0-43b5-8dab-56c22d91acc7"

Результат выполнения команды

true

Удаляет задачу экспорта с заданным идентификатором. Отправляет событие об удалении задачи экспорта.

Поддерживается асинхронный и синхронный вызов.

• На входе: ExportProcessId (UUID)
• На выходе: Boolean

ExecuteExportProcess

Payload для команды

"f283aac5-88e0-43b5-8dab-56c22d91acc7"

Результат выполнения команды

true

Запускает задачу экспорта с заданным идентификатором. Отправляет событие о результатах выполнения задачи экспорта.

Поддерживается асинхронный и синхронный вызов.

• На входе: ExportProcessId (UUID)
• На выходе: Boolean

CancelExportProcess

Payload для команды

"f283aac5-88e0-43b5-8dab-56c22d91acc7"

Результат выполнения команды

true

Останавливает запущенную задачу экспорта с заданным идентификатором.

Поддерживается асинхронный и синхронный вызов.

• На входе: ExportProcessId (UUID)
• На выходе: Boolean

GetExportProgress

Payload для команды

{
  "id": "b251c2e5-e12c-4792-b6f4-6578bfd4d6cd"
}

Результат выполнения команды

{
  "b251c2e5-e12c-4792-b6f4-6578bfd4d6cd": {
    "estimateTime": "PT12H54M5.02S",
    "percent": 0.3368487274760384,
    "stats": [
      {
        "name": "?",
        "processed": {
          "succeed": 0,
          "skipped": 1723,
          "total": 1723
        },
        "errors": 0
      }
    ]
  }
}

Прогресс задач экспорта. Можно отфильтровать по идентификатору конкретной задачи. Поддерживается только синхронный вызов.

• На входе: GetExportProgressDto
• На выходе: Map[ExportProcessId, [EstimateProgressStats]]

CreateAndExecuteExportProcess

CreateAndExecuteExportProcessViaHttp

Payload для команд

{
  "entityType": "Tag",
  "exportConfig": {
    "columnMapping": [
      {
        "columnLabel": "C",
        "columnHeader": "Заголовок",
        "attributePath": [
          {
            "fieldCode": "title",
            "fieldType": "string"
          }
        ]
      },
      {
        "columnLabel": "A",
        "columnHeader": "Код",
        "attributePath": [
          {
            "fieldCode": "code",
            "fieldType": "string"
          }
        ]
      },
      {
        "columnLabel": "D",
        "columnHeader": "Диаметр",
        "attributePath": [
          {
            "fieldCode": "diametr",
            "fieldType": "number"
          }
        ]
      },
      {
        "columnLabel": "E",
        "columnHeader": "subType",
        "attributePath": [
          {
            "fieldCode": "subType",
            "fieldType": "catalogItem",
            "catalogCode": "TagSubType"
          },
          {
            "fieldCode": "tagTypeTitle",
            "fieldType": "string"
          }
        ]
      },
      {
        "columnLabel": "F",
        "columnHeader": "complex code",
        "attributePath": [
          {
            "fieldCode": "complex",
            "fieldType": "entityObject",
            "entityType": "complex"
          },
          {
            "fieldCode": "code",
            "fieldType": "string"
          }
        ]
      },
      {
        "columnLabel": "G",
        "columnHeader": "complex title",
        "attributePath": [
          {
            "fieldCode": "complex",
            "fieldType": "entityObject",
            "entityType": "complex"
          },
          {
            "fieldCode": "title",
            "fieldType": "string"
          }
        ]
      }
    ]
  },
  "search": {
    "query": "",
    "context": {
    }
  },
  "hierarchy": [],
  "exportFileName": "export"
}

Результат выполнения команд

"f283aac5-88e0-43b5-8dab-56c22d91acc7"

Добавляет новую задачу экспорта с заданными параметрами, а затем ее запускает.

Реализованно через последовательное выполнение команд CreateExportProcess и ExecuteExportProcess.

exporter_CreateAndExecuteExportProcess: Поддерживается асинхронный и синхронный вызов.
exporter_http_CreateAndExecuteExportProcess: Поддерживается синхронный вызов.

• На входе: ExportProcessCreateDto
• На выходе: ExportProcessId (UUID)

ListExportTemplate

Payload для команды

 {
  "query": "",
  "context": {},
  "sorting": {
    "fieldName": "entityType",
    "order": "desc"
  },
  "paging": {
    "page": 1,
    "count": 10
  }
}

Результат выполнения команды

{
  "items": [
    {
      "id": "b251c2e5-e12c-4792-b6f4-6578bfd4d6cd",
      "entityType": "abc",
      "title": "Наименование шаблона",
      "description": "Описание которое на которое никто не смотрит",
      "exportConfig": {
        "title": "Sample Project Title"
      },
      "created": 1723809067603,
      "createdBy": "7099494d-0a5f-47ff-bc52-9cfb74ffe282",
      "modified": 1723809067603,
      "modifiedBy": "7099494d-0a5f-47ff-bc52-9cfb74ffe282",
      "version": 1
    }
  ],
  "total": 1
}

Возвращает список всех шаблонов экспорта.

Поддерживается только синхронный вызов.

• На входе: Option[Search]
• На выходе: Page[ExportTemplate]

Доступные поля для фильтрации и виды фильтров по ним:

Доступные поля для сортировки:

GetExportTemplate

Payload для команды

"b251c2e5-e12c-4792-b6f4-6578bfd4d6cd"

Результат выполнения команды

{
  "id": "b251c2e5-e12c-4792-b6f4-6578bfd4d6cd",
  "entityType": "abc",
  "title": "Наименование шаблона",
  "description": "Описание которое на которое никто не смотрит",
  "exportConfig": {
    "title": "Sample Project Title"
  },
  "created": 1723809067603,
  "createdBy": "7099494d-0a5f-47ff-bc52-9cfb74ffe282",
  "modified": 1723809067603,
  "modifiedBy": "7099494d-0a5f-47ff-bc52-9cfb74ffe282",
  "version": 1
}

Поиск задачи экспорта с заданным идентификатором.

Поддерживается только синхронный вызов.

• На входе: ExportTemplateId (UUID)
• На выходе: ExportTemplate

CreateExportTemplate

Payload для команды

{
  "entityType": "abc",
  "title": "Шаблон всего",
  "description": "Описание шаблона на которое никто не смотрит",
  "exportConfig": {
    "title": "Sample Project Title"
  }
}

Результат выполнения команды

"f283aac5-88e0-43b5-8dab-56c22d91acc7"

Добавляет новый шаблон экспорта с заданными параметрами. Отправляет событие о создании шаблона экспорта.

Поддерживается асинхронный и синхронный вызов.

• На входе: ExportTemplateCreateDto
• На выходе: ExportTemplateId (UUID)

UpdateExportTemplate

Payload для команды

{
  "id": "f283aac5-88e0-43b5-8dab-56c22d91acc7",
  "entityType": "abc",
  "title": "Шаблон всего",
  "description": "Описание шаблона на которое никто не смотрит",
  "exportConfig": {
    "startRow": 3,
    "columnMapping": [
      {
        "property": "title",
        "columnLabel": "A"
      }
    ]
  },
  "version": 1
}

Результат выполнения команды

true

Обновляет данные шаблона экспорта. Отправляет событие об обновлении шаблона экспорта.

Поддерживается асинхронный и синхронный вызов.

• На входе: ExportTemplateUpdateDto
• На выходе: Boolean

DeleteExportTemplate

Payload для команды

"f283aac5-88e0-43b5-8dab-56c22d91acc7"

Результат выполнения команды

true

Удаляет шаблон экспорта с заданным идентификатором. Отправляет событие об удалении шаблона экспорта.

Поддерживается асинхронный и синхронный вызов.

• На входе: ExportTemplateId (UUID)
• На выходе: Boolean

Модели сервиса Exporter

ExportProcessCreateDto

ExportProcessUpdateDto

ExportProcess

ExportTemplateCreateDto

ExportTemplateUpdateDto

ExportTemplate

ExportConfig

ColumnMapping

FieldAttribute

ExportFileInformation

ExportInfo

ProgressInfo

GetExportProgressDto

EstimateProgressStats

SheetExportTotalStatistic

StatFraction

Сервис полнотекстового поиска - ПП

В сервисе реализованы следующие команды

• Индексация объекта
• Получение правила индексации
• Получение правила индексации (v2)
• Создание правила индексации
• Создание правила индексации (v2)
• Обновление правила индексации
• Обновление правила индексации (v2)
• Удаление правила индексации
• Список всех правил индексации
• Список всех правил индексации (v2)
• Полнотекстовый поиск (v1)
• Полнотекстовый поиск (v2)
• Полнотекстовый поиск (v3)
• Полнотекстовый поиск для графа (v1)
• Полнотекстовый поиск для графа (v2)
• Поиск по идентификаторам (LAMP, v1)
• Поиск по plagiarism (LAMP, v1)
• Поиск по similarity (LAMP, v2)
• Поиск по plagiarism (LAMP, v2)
• Список всех ES анализаторов
• Автодополнение поисковой строки
• Индексация фраз в индексе для автодополнений
• Агрегированный полнотекстовый поиск
• Полнотекстовый поиск внутри родительского документа
• Агрегация документов (внутренняя команда)

Общее описание архитектуры сервиса ПП

Сервис делает доступными для полнотекстового поиска объекты сервиса модели данных. Для каждого типа объектов должно существовать правило индексации в ES. Все поля объекта разделяются на 3 категории:

• поля для фасетного поиска
• поля для полнотекстового поиска
• поля для отображения Сервис обеспечивает полнотекстовый и фасетный поиск

Конфигурирование сервиса ПП

Требования к запуску сервиса ПП

Запуск сервиса осуществляется локально через sbt, на стенде в docker на jvm. Для корректной минимальной работы сервиса требуется обязательное подключение к Kafka, Consul, ElasticSearch. Для нормальной работы сервису дополнительно требуется окружение Verdi: CommandStatus и ApiGateway.

Список переменных окружения сервиса ПП

Команды для сервиса full-text-search

Список реализованных в сервисе команд, моделей EntityType и действий Actions, которые можно использовать при настройке авторизации.

fullTextSearchIndexDocument

Индексация объекта

На входе объект и связанные файлы

{
  "entityObject": {
    "id": "62b5b85f-5962-407d-89f1-adbdb49cca85",
    "entityType": "Document",
    "title": "Документ",
    "source": "test",
    "created": 1674060753,
    "modified": 1674060753,
    "data": {
      "content": "someContent",
      "title": "someTitle",
      "author": "someAuthor",
      "city": "someCity"
    },
    "additionalData": {
      "extracted": "someAdditionalContent"
    },
    "version": 1,
    "removed": false
  },
  "files": {
    "file1": [
      "/temp/55497df9-bf03-4364-bada-881bbd5531f8"
    ]
  }
}

Команда не возвращает никаких данных после выполнения

Поддерживается асинхронный и синхронный вызов.

• На входе: EntityWithFiles
• Команда не возвращает данных

getMappingFullTextSearch

Получение правила индексации

На входе идентификатор правила, по сути тип объекта

"Document"