知序
返回
保存草稿
发布
H1
H2
H3
1
2
3
Excalidraw 图
AI 写作
AI 优化
目录
输入内容后显示目录
Markdown
# AI 应用开发岗位面试题汇总 > 面向大模型应用开发(LLM Application Engineer / AI Engineer)岗位,涵盖 RAG、Agent、Prompt Engineering、向量数据库、模型微调、系统设计等核心方向。 > > 来源:[DataCamp](https://www.datacamp.com/blog/rag-interview-questions)、[Huru.ai](https://huru.ai/llm-engineer-interview-questions-rag-prompting-evaluation/)、[LockedInAI](https://www.lockedinai.com/blog/llm-interview-questions-answers-complete-guide-engineers)、[火山引擎开发者社区](https://developer.volcengine.com/articles/7582490952301084708)、[InterviewBaba](https://interviewbaba.com/rag-interview-questions/) 等,内容经整理改写。 --- ## 一、LLM 基础 ### 1. Transformer 架构的核心组件是什么?Self-Attention 解决了什么问题? Transformer 由 Encoder 和 Decoder 组成,核心是 Multi-Head Self-Attention 机制。Self-Attention 让模型在处理每个 token 时能关注序列中所有其他 token,解决了 RNN 难以捕获长距离依赖的问题。多头机制让模型从不同子空间学习不同的注意力模式。 ### 2. 什么是 Tokenization?常见的分词策略有哪些? Tokenization 是将文本切分为模型可处理的最小单元。常见策略: - **BPE (Byte Pair Encoding)**:GPT 系列使用,基于频率合并字符对 - **WordPiece**:BERT 使用,类似 BPE 但基于似然 - **SentencePiece**:语言无关,直接在原始文本上训练 - **Unigram**:基于概率模型选择最优分词 ### 3. 什么是 Temperature、Top-p、Top-k?它们如何影响生成? - **Temperature**:控制概率分布的平滑度。低温(如 0.1)使输出更确定,高温(如 1.5)增加随机性 - **Top-k**:只从概率最高的 k 个 token 中采样 - **Top-p (Nucleus Sampling)**:从累积概率达到 p 的最小 token 集合中采样 实际应用中通常组合使用,如代码生成用低温高确定性,创意写作用高温。 ### 4. 解释 Context Window 的概念及其对应用开发的影响 Context Window 是模型单次能处理的最大 token 数。影响: - 限制了单次输入的信息量(如 GPT-4 Turbo 128K) - RAG 系统需要在窗口内平衡检索内容和生成指令 - 长文档处理需要分块策略 - 多轮对话需要管理历史消息的截断 ### 5. Fine-tuning 和 Prompt Engineering 分别适用于什么场景? | 维度 | Fine-tuning | Prompt Engineering | |------|------------|-------------------| | 适用场景 | 特定领域/格式要求强 | 通用任务、快速迭代 | | 成本 | 高(需要数据+算力) | 低(无需训练) | | 灵活性 | 低(需重新训练) | 高(随时调整) | | 效果上限 | 高 | 受限于模型能力 | 一般优先尝试 Prompt Engineering,效果不够再考虑 Fine-tuning。 --- ## 二、RAG(检索增强生成) ### 6. 解释 RAG 系统的核心架构和工作流程 RAG 系统包含两个核心组件: 1. **Retriever(检索器)**:从外部知识库中检索与查询相关的文档 2. **Generator(生成器)**:基于检索到的上下文 + 用户问题生成回答 工作流程:Query → Embedding → 向量检索 → 上下文拼接 → LLM 生成 → 回答 ### 7. 稀疏检索和稠密检索的区别?什么时候用混合检索? - **稀疏检索(BM25/TF-IDF)**:基于关键词匹配,速度快,对精确术语匹配好 - **稠密检索(Dense Retrieval)**:基于语义向量相似度,能理解同义词和语义关系 - **混合检索**:结合两者优势,先用稀疏检索快速召回,再用稠密检索重排序 适用混合检索的场景:专业领域(术语精确匹配重要)+ 用户查询多样化。 ### 8. 文档分块(Chunking)有哪些策略?各有什么优缺点? | 策略 | 优点 | 缺点 | |------|------|------| | 固定长度 | 简单、均匀 | 可能切断语义 | | 按句子 | 保持句子完整 | 粒度可能太细 | | 按段落 | 保持语义完整 | 长度不均匀 | | 语义分块 | 语义连贯 | 实现复杂 | | 滑动窗口 | 不丢失边界信息 | 冗余、计算量大 | 实践建议:chunk size 通常 256-1024 tokens,overlap 10-20%。 ### 9. 如何评估 RAG 系统的效果? 评估维度: - **检索质量**:Precision@K、Recall@K、MRR(Mean Reciprocal Rank) - **生成质量**:Faithfulness(忠实度)、Relevance(相关性)、Answer Correctness - **端到端**:用户满意度、任务完成率 - **工具**:RAGAS 框架、TruLens、DeepEval 关键指标: - 忠实度:回答是否基于检索到的上下文 - 相关性:检索的文档是否与问题相关 - 幻觉率:回答中编造信息的比例 ### 10. RAG 系统中如何减少幻觉(Hallucination)? 策略: 1. **提高检索质量**:优化 embedding 模型、调整 chunk 策略、使用 re-ranking 2. **Prompt 约束**:明确指示"仅基于提供的上下文回答,如果信息不足请说不知道" 3. **后处理验证**:用小模型检查生成内容与检索文档的一致性 4. **Corrective RAG (CRAG)**:检索后先判断文档相关性,不相关则重新检索或拒绝回答 5. **引用标注**:要求模型标注信息来源,便于验证 ### 11. 什么是 Agentic RAG?与传统 RAG 有什么区别? 传统 RAG 是固定流程:检索 → 生成。Agentic RAG 引入 Agent 决策: - Agent 判断是否需要检索(有些问题不需要外部知识) - Agent 决定检索哪个数据源 - Agent 评估检索结果质量,决定是否需要重新检索 - Agent 可以进行多步推理,迭代检索 优势:更灵活、更准确,能处理复杂多跳问题。 ### 12. 向量数据库在 RAG 中的作用?常见选型有哪些? 向量数据库存储文档的 embedding 向量,支持高效的近似最近邻(ANN)搜索。 常见选型: | 数据库 | 特点 | |--------|------| | Milvus | 开源、高性能、支持大规模 | | Pinecone | 全托管、易用 | | Weaviate | 支持混合搜索、GraphQL | | Qdrant | Rust 实现、高性能 | | ChromaDB | 轻量、适合原型 | | pgvector | PostgreSQL 扩展、适合已有 PG 的团队 | 选型考虑:数据规模、查询延迟要求、是否需要过滤、运维成本。 --- ## 三、Prompt Engineering ### 13. 常见的 Prompt 技术有哪些? - **Zero-shot**:直接提问,无示例 - **Few-shot**:提供几个示例引导格式和风格 - **Chain-of-Thought (CoT)**:引导模型逐步推理 - **Self-Consistency**:多次采样取多数投票 - **Tree-of-Thought**:探索多条推理路径 - **ReAct**:推理 + 行动交替,适合 Agent ### 14. 什么是 Prompt Injection?如何防御? Prompt Injection 是用户通过输入恶意指令覆盖系统 prompt 的攻击。 防御策略: 1. **输入过滤**:检测并过滤可疑指令模式 2. **角色隔离**:系统 prompt 和用户输入明确分隔 3. **输出验证**:检查输出是否违反预期行为 4. **权限最小化**:限制模型可调用的工具和数据范围 5. **多层防御**:结合规则引擎 + 分类模型检测注入 ### 15. 如何系统化地优化和评估 Prompt? 1. **建立评估集**:收集代表性问题和标准答案 2. **定义指标**:准确率、格式合规率、延迟 3. **A/B 测试**:对比不同 prompt 版本的效果 4. **自动化评估**:用 LLM-as-Judge 或专用评估框架 5. **版本管理**:对 prompt 进行版本控制,记录变更和效果 --- ## 四、AI Agent ### 16. AI Agent 的核心组成是什么? 一个完整的 AI Agent 包含: 1. **LLM(大脑)**:推理和决策 2. **Memory(记忆)**:短期(对话上下文)+ 长期(向量存储) 3. **Tools(工具)**:API 调用、代码执行、搜索等 4. **Planning(规划)**:任务分解、执行计划 常见框架:LangChain、LlamaIndex、AutoGen、CrewAI ### 17. 什么是 Function Calling / Tool Calling? Function Calling 是 LLM 输出结构化的函数调用请求(通常是 JSON),由外部系统执行并返回结果。流程: 1. 定义可用函数的 schema(名称、参数、描述) 2. LLM 根据用户意图决定是否调用函数 3. LLM 输出结构化调用参数 4. 外部系统执行函数,返回结果 5. LLM 基于结果生成最终回答 ### 18. 什么是 MCP(Model Context Protocol)?与 Function Calling 的关系? MCP 是 Anthropic 提出的开放协议,标准化了 AI 模型与外部工具/数据源的连接方式。 与 Function Calling 的区别: - **Function Calling**:模型厂商各自定义的工具调用接口 - **MCP**:统一的工具发现和调用协议,类似 USB 接口标准 MCP 的优势:工具一次开发、多模型复用;标准化的工具描述和调用流程。 ### 19. 多 Agent 系统的常见架构模式? - **Sequential(顺序)**:Agent A → Agent B → Agent C,流水线处理 - **Hierarchical(层级)**:Manager Agent 分配任务给 Worker Agents - **Collaborative(协作)**:多个 Agent 平等讨论,达成共识 - **Competitive(竞争)**:多个 Agent 独立完成,选最优结果 选择依据:任务复杂度、是否需要专业分工、延迟要求。 ### 20. Agent 的 ReAct 模式是什么? ReAct = Reasoning + Acting,交替进行推理和行动: ``` Thought: 我需要查找用户的订单信息 Action: query_order(user_id="123") Observation: 订单#456,状态:已发货 Thought: 用户的订单已发货,我可以告诉他物流信息 Action: get_logistics(order_id="456") Observation: 顺丰快递,单号SF123456 Answer: 您的订单已发货,顺丰快递单号 SF123456 ``` 优势:推理过程可解释、可调试。 --- ## 五、模型微调(Fine-tuning) ### 21. 常见的微调方法有哪些? | 方法 | 特点 | 适用场景 | |------|------|---------| | Full Fine-tuning | 更新所有参数 | 数据充足、算力充足 | | LoRA | 低秩适配,只训练少量参数 | 资源有限、快速适配 | | QLoRA | 量化 + LoRA | 消费级 GPU | | Prefix Tuning | 在输入前加可训练前缀 | 轻量级适配 | | Adapter | 在层间插入小模块 | 多任务共享 | ### 22. 微调数据如何准备?质量要求是什么? 数据准备要点: 1. **格式**:instruction-input-output 三元组或多轮对话格式 2. **数量**:最少 100 条,建议 1000-5000 条高质量数据 3. **质量要求**: - 多样性:覆盖不同场景和表达方式 - 一致性:标注标准统一 - 准确性:答案正确无误 - 代表性:反映真实使用场景 4. **数据增强**:Self-Instruct、Evol-Instruct 等方法扩充数据 ### 23. SFT、RLHF、DPO 分别是什么? - **SFT (Supervised Fine-Tuning)**:用标注数据直接训练模型,学习输入→输出的映射 - **RLHF (Reinforcement Learning from Human Feedback)**:训练奖励模型 → 用 PPO 优化策略模型,对齐人类偏好 - **DPO (Direct Preference Optimization)**:直接用偏好数据优化,跳过奖励模型训练,更简单高效 趋势:DPO 因为简单高效,正在替代 RLHF 成为主流对齐方法。 --- ## 六、系统设计与工程化 ### 24. 设计一个生产级 RAG 客服系统,需要考虑哪些方面? 架构要点: 1. **数据层**:知识库管理、文档解析、分块索引、定期更新 2. **检索层**:混合检索、Re-ranking、缓存热门查询 3. **生成层**:Prompt 模板、上下文管理、流式输出 4. **安全层**:输入过滤、输出审核、敏感信息脱敏 5. **监控层**:延迟监控、质量评估、用户反馈收集 6. **兜底策略**:检索失败转人工、置信度低时拒绝回答 ### 25. 如何降低 LLM 应用的延迟和成本? 降低延迟: - 流式输出(Streaming) - 缓存常见查询结果 - 使用更小的模型处理简单任务(路由策略) - 并行检索多个数据源 降低成本: - Prompt 压缩,减少 token 数 - 分级模型策略(简单问题用小模型,复杂问题用大模型) - 缓存 embedding 计算结果 - 批量处理请求 ### 26. LLM 应用的可观测性如何实现? 关键指标: - **延迟**:端到端响应时间、各环节耗时 - **质量**:回答准确率、幻觉率、用户满意度 - **成本**:token 消耗、API 调用次数 - **可靠性**:错误率、超时率 工具:LangSmith、Langfuse、Phoenix (Arize)、Helicone ### 27. 如何处理 LLM 应用中的数据隐私和安全? 1. **数据脱敏**:PII 检测和替换 2. **访问控制**:基于角色的文档权限过滤 3. **本地部署**:敏感场景使用私有化部署的模型 4. **审计日志**:记录所有查询和响应 5. **Prompt 防护**:防止 Prompt Injection 泄露系统信息 6. **合规**:遵循 GDPR、数据安全法等法规 --- ## 七、Embedding 与向量检索 ### 28. 什么是 Embedding?在 AI 应用中有哪些用途? Embedding 是将文本/图像等非结构化数据映射为固定维度的稠密向量,使语义相似的内容在向量空间中距离更近。 用途: - 语义搜索(RAG 的核心) - 文本分类和聚类 - 推荐系统 - 重复检测 / 相似度计算 常见模型:OpenAI text-embedding-3、BGE、E5、GTE、Cohere Embed ### 29. 如何选择和评估 Embedding 模型? 选择考虑: - **维度**:高维度精度高但存储和计算成本大 - **最大输入长度**:是否支持长文本 - **多语言支持**:是否需要跨语言检索 - **领域适配**:通用模型 vs 领域微调 评估方法: - MTEB Benchmark 排行榜 - 在自己的数据集上测试 Recall@K - A/B 测试实际检索效果 ### 30. ANN(近似最近邻)搜索的常见算法? | 算法 | 特点 | |------|------| | HNSW | 图索引,查询快,内存占用大 | | IVF | 倒排索引,适合大规模数据 | | PQ (Product Quantization) | 压缩向量,节省内存 | | ScaNN | Google 开源,高性能 | 实践中常用 HNSW(精度高、查询快)或 IVF+PQ(大规模数据、内存受限)。 --- ## 八、高级话题 ### 31. 什么是 CAG(Cache-Augmented Generation)?与 RAG 的区别? CAG 在检索和生成之间增加了缓存/压缩层:检索到的文档先经过摘要或压缩,再送入 LLM。 适用场景: - 静态知识库(产品目录、学术论文) - Token 成本敏感 - 检索文档长且噪声多 RAG 更适合动态数据、需要实时最新信息的场景。 ### 32. 什么是 Corrective RAG (CRAG)? CRAG 在标准 RAG 流程中增加了"自我纠正"步骤: 1. 检索文档 2. **评估文档相关性**(新增步骤) 3. 如果相关 → 正常生成 4. 如果不相关 → 重新检索 / 使用 Web 搜索 / 拒绝回答 优势:减少因检索质量差导致的幻觉。 ### 33. 如何设计一个多模态 AI 应用? 关键考虑: - **输入处理**:文本、图像、音频、视频的统一表示 - **模型选择**:GPT-4V、Gemini、Claude 等多模态模型 - **RAG 扩展**:图像检索(CLIP embedding)、表格解析、PDF 解析 - **输出格式**:文本、图表、代码等多种输出形式 ### 34. LLM 应用的评估体系如何搭建? 分层评估: 1. **组件级**:检索准确率、生成质量 2. **系统级**:端到端任务完成率 3. **用户级**:满意度、留存率 评估方法: - 自动评估:RAGAS、G-Eval(LLM-as-Judge) - 人工评估:标注团队打分 - 在线评估:A/B 测试、用户反馈 ### 35. 如何实现 RAG 系统中的多轮对话上下文管理? 策略: 1. **Query Rewriting**:用 LLM 将当前问题 + 历史对话改写为独立完整的查询 2. **对话历史压缩**:摘要历史对话,减少 token 消耗 3. **滑动窗口**:只保留最近 N 轮对话 4. **语义记忆**:将重要信息存入向量数据库作为长期记忆 --- ## 九、场景设计题 ### 36. 设计一个企业知识库问答系统 要点: - 多格式文档解析(PDF、Word、网页、数据库) - 权限控制(不同角色看到不同文档) - 混合检索 + Re-ranking - 引用溯源(回答标注来源文档和页码) - 反馈闭环(用户标记回答质量,持续优化) ### 37. 设计一个代码生成 Agent 要点: - 理解自然语言需求 → 生成代码 - 沙箱执行环境(安全隔离) - 自动测试验证 - 错误自动修复(执行失败 → 分析错误 → 重新生成) - 集成 IDE 和版本控制 ### 38. 如何为一个电商平台设计智能客服? 要点: - 意图识别 + 实体提取 - RAG 检索产品信息和 FAQ - 工具调用:查订单、查物流、发起退款 - 情感分析:检测用户情绪,适时转人工 - 多轮对话状态管理 - 兜底策略:无法解决时平滑转接人工 --- ## 十、编码题 ### 39. 实现一个简单的 RAG Pipeline ```python from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain.vectorstores import FAISS from langchain.embeddings import OpenAIEmbeddings from langchain.chat_models import ChatOpenAI from langchain.chains import RetrievalQA # 1. 文档分块 splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50) chunks = splitter.split_documents(documents) # 2. 向量化存储 embeddings = OpenAIEmbeddings() vectorstore = FAISS.from_documents(chunks, embeddings) # 3. 检索 + 生成 retriever = vectorstore.as_retriever(search_kwargs={"k": 3}) llm = ChatOpenAI(model="gpt-4", temperature=0) qa_chain = RetrievalQA.from_chain_type(llm=llm, retriever=retriever) # 4. 查询 answer = qa_chain.run("公司的退款政策是什么?") ``` ### 40. 实现一个带 Tool Calling 的 Agent ```python import openai import json tools = [ { "type": "function", "function": { "name": "get_weather", "description": "获取指定城市的天气", "parameters": { "type": "object", "properties": { "city": {"type": "string", "description": "城市名"} }, "required": ["city"] } } } ] def get_weather(city): # 实际调用天气 API return f"{city}今天晴,25°C" def run_agent(user_message): messages = [{"role": "user", "content": user_message}] response = openai.chat.completions.create( model="gpt-4", messages=messages, tools=tools ) msg = response.choices[0].message if msg.tool_calls: for call in msg.tool_calls: func_name = call.function.name args = json.loads(call.function.arguments) result = globals()[func_name](**args) messages.append(msg) messages.append({ "role": "tool", "tool_call_id": call.id, "content": result }) # 再次调用获取最终回答 final = openai.chat.completions.create( model="gpt-4", messages=messages ) return final.choices[0].message.content return msg.content ``` --- ## 参考资源 - [DataCamp - Top 30 RAG Interview Questions](https://www.datacamp.com/blog/rag-interview-questions) - [Huru.ai - LLM Engineer Interview Questions](https://huru.ai/llm-engineer-interview-questions-rag-prompting-evaluation/) - [LockedInAI - LLM Interview Questions](https://www.lockedinai.com/blog/llm-interview-questions-answers-complete-guide-engineers) - [火山引擎 - AI大模型Agent面试精选](https://developer.volcengine.com/articles/7582490952301084708) - [GitHub - FAQ_Of_LLM_Interview](https://github.com/aceliuchanghong/FAQ_Of_LLM_Interview) - [InterviewBaba - RAG Interview Questions 2026](https://interviewbaba.com/rag-interview-questions/)
预览
发布文章
添加摘要让读者更快了解文章内容
取消
确认发布
AI 写作助手
输入一个主题,AI 将为你生成一篇 Markdown 博客文章
AI 正在写作中...
取消
开始生成
AI 优化助手
描述你的修改需求,AI 将在原文基础上进行补充或微调
AI 正在优化中...
取消
开始优化
画布
从已有图里选
✕
图名
保存后生成 /images/excalidraw/<图名>.svg(只能用字母、数字、短横线、下划线、点)
取消
保存并插入