Создание умной системы вопросов и ответов с Tavily Search API, Chroma, Google Gemini и LangChain

Комбинация технологий для интеллектуальной системы вопросов и ответов

В этом руководстве показано, как построить надежную систему вопросов и ответов, объединяя Tavily Search API для поиска в реальном времени, векторное хранилище Chroma для семантического кэширования документов, языковые модели Google Gemini для генерации контекстных ответов и фреймворк LangChain для модульного управления процессом.

Основные компоненты и настройка

Решение использует несколько библиотек Python, таких как langchain-community, tavily-python, langchain-google-genai и chromadb, а также инструменты для работы с данными и визуализации — pandas и matplotlib. Ключи API для Tavily и Google Gemini инициализируются безопасно, настроено логирование для контроля работы системы.

Кастомный поисковик и семантический кэш

Улучшенный поисковик расширяет TavilySearchAPIRetriever, обеспечивая продвинутый контроль глубины поиска, фильтрацию доменов и хранение истории запросов. Семантический кэш использует GoogleGenerativeAIEmbeddings и векторное хранилище Chroma для эффективного хранения и поиска документов по схожести, снижая количество повторных веб-запросов.

Форматирование и парсинг документов

Реализованы функции для форматирования найденных документов с метаданными для удобства чтения и анализа ответов LLM с попыткой извлечения JSON-структур или возвратом простого текста с оценкой уверенности.

Проектирование подсказок и память

Структурированный шаблон подсказки направляет LLM выступать в роли исследовательского ассистента, строго используя только предоставленный контекст, с обязательным указанием источников и без выдумывания информации. ConversationBufferMemory сохраняет историю диалога для поддержки контекста.

Инициализация моделей и обработка запросов

Модели Google Gemini инициализируются с настраиваемыми параметрами. Реализован гибридный механизм поиска — сначала в семантическом кэше, затем при необходимости в реальном времени через веб-поиск. Полученные документы можно резюмировать с помощью LLM для кратких и релевантных ответов.

Продвинутая цепочка обработки запросов

Функция advanced_chain реализует полный цикл обработки запросов: поиск документов, формирование контекста, вызов подсказки и сохранение истории общения. Возможна смена способа поиска и использование различных версий модели Gemini.

Анализ запросов

Система проводит анализ запросов, выделяя тему, тональность, ключевые сущности и тип запроса в формате JSON, что помогает лучше понимать намерения пользователя.

Визуализация и мониторинг

Метрики поиска, такие как время отклика и количество результатов, визуализируются с помощью matplotlib, что помогает отслеживать производительность и оптимизировать поиск.

Пример использования

Пример с запросом о «Breath of the Wild» демонстрирует работу ассистента: поиск ответа, анализ запроса, вывод истории поиска, тематический поиск с фильтрацией доменов, создание сводки и построение графиков производительности.

Этот комплексный конвейер представляет собой шаблон для создания масштабируемых, контекстно-осведомленных и интеллектуальных систем вопросов и ответов, которые объединяют данные из реального времени с возможностями разговорного ИИ с помощью современных инструментов и фреймворков.