2 posts tagged with "springboot"

Governance Service 架构设计：流式 LLM Agent 的异步治理层

comsinceJune 12, 20266 min readLLMSpringBootKafkaMySQL

本文介绍 streaming-llm-agent 多模块项目中 Governance Service 的详细架构设计。Governance Service 是异步治理层，不在对话关键路径上——Chat Service 通过 Kafka fire-and-forget 发布事件，Governance Service 异步消费，完成审计落地、成本计算、指标汇总和配额管理。

Spring Boot + LangChain4j 流式 LLM Agent 服务架构设计

comsinceJune 12, 202610 min readLLMSpringBootLangChain4j流式

本文介绍一套面向 AI 客服 / 问答助手场景的流式 LLM Agent 服务架构，技术栈为 Spring Boot 3 + WebFlux + LangChain4j + Redis + Kafka，采用 Chat Service + Governance Service 双服务分层设计，支持中等规模起步（日活十万级、峰值千级并发会话）并可平滑扩展至大规模。