💫 引言

AIChat类项目，自24年初以来，众多主流产品如 ChatGPT、DeepSeek、Kimi、豆包 等，已如洪水般浪潮涌入我们的视野中，经过迅速迭代，AIChat能凭借复杂的系统工程结构，在LLM能力的基础上完成对LLM的扩展能力。

众所周知，LLM通过人为准备的数据集进行监督训练，经过训练的LLM，能够将输入的Token转换为预测结果，但LLM本身是无状态的，直接与LLM对话并不能使它产生记忆，因为从本质来说，LLM内部只是一堆经过调教好的神经元。LLM在处理长对话时会失去上下文，尤其是在多轮对话或复杂问题解决中，缺乏有效的上下文跟踪和记忆能力。解决这个办法最简单的方式是通过定制的系统进行持续的上下文管理和任务状态跟踪来弥补这一点。定制的系统要求可以保存会话中的关键信息，保持对话的连贯性，并在处理长时间任务时，确保正确的上下文跟踪。

对于LLM本身而言，另一个问题是，它通过预先训练的数据集进行结果预测，随着时间的推移，这些训练的数据集很可能已经过时，这意味着它对训练时截断的知识或最新事件没有直接的访问能力，目前主流的解决方案是接入一个实时网页搜索服务或者是更加复杂的搜索引擎，通过工具调用的方式来辅助LLM获取最新的上下文。工具函数可以极大的扩展LLM本身以外的能力，例如，它可以调用图像生成工具、代码编译器、数据库查询工具、实时搜索等，来实现更多样化的功能。这种工具的集成让AI Chat可以处理更复杂的任务，比如生成图像、执行代码、执行多轮的长任务等。

目前，随着自然语言处理领域的快速发展，对于LLM下游应用领域的深度定制和集成越来越火热，各种新型AI集成软件层出不穷，几乎每过一周，都会出现一款新的现象级产品，就在我撰写本文时，clawdbot出现了，它运行在本地，并拥有本地的观测空间和交互能力，这与传统 AI 助手有极大不同，我正在尝试理解这些最新成果，但现在，本文旨在从工程实践的角度逐层刨析现今传统AIChat类项目的工作机理和主线逻辑。目前主流的开源的第三方AIChat项目都热衷于集成各大厂家的LLM API服务，并通过集成额外的工具和能力来完善产品，所以AIChat项目本身可以看作是LLM与系统之间的交流，系统辅助LLM来提升额外的能力，并通过可视化的方式将结果呈现在用户屏幕上。

✨ 思路