AI大模型工程化落地及主流工具链与商业实战

大模型应用工程化：RAG、Agent、工具链与部署成本判断

2天（6小时/天） 人工智能应用
授课讲师： 王亚彬 · 企业级网络安全体系构建专家
获取课程方案 查看课程大纲

课程大纲

大模型原理解析与行业应用

大模型原理解析与行业应用
  • 大模型的技术底座与能力边界
  • 为什么是Transformer？——从BERT到GPT的技术演进
  • 预训练（Pre-training）与微调（Fine-tuning）的本质区别
  • 大模型的6大核心能力：生成、摘要、重写、提取、分类、推理
  • 认清3大局限性：幻觉问题、时效性滞后、数据安全风险
  • AI行业应用场景图谱
  • 寻找AI落地场景的方法论：高频、刚需、容错率分析
  • 金融行业案例：研报分析与智能风控
  • 法律行业案例：合同审查与类案检索
  • 办公与软件开发案例：代码生成与企业知识问答
  • 互动研讨：结合IC设计与软件业务，挖掘内部潜力场景

模型版图与研发效能工具

模型版图与研发效能工具
  • 主流大模型选型与评测（Model Selection）
  • 闭源三巨头对比：GPT-4o vs Claude 3.5 Sonnet vs Gemini 1.5 Pro（擅长领域、Context Window、价格对比）
  • 开源模型崛起： Llama 3 (Meta)、Qwen 2.5 (阿里)、DeepSeek-V2 (深度求索) 的性能与部署成本分析
  • 选型策略：什么时候用 7B 模型？什么时候必须上 70B 或 API？
  • 面向软件企业的 AI 编码工具链
  • AI IDE 革命：Cursor 的深度集成与代码库索引（Codebase Indexing）实战
  • 企业级补全：GitHub Copilot Enterprise vs Tabnine（私有化代码安全考量）
  • 实战演示：利用 LLM 自动生成单元测试（Unit Test）与旧代码重构（Refactoring）
  • 行业场景：IC 设计与文档处理
  • 场景解析：Verilog 代码辅助生成、芯片规格书（Datasheet）自动比对

RAG（检索增强生成）技术拆解与进阶

RAG（检索增强生成）技术拆解与进阶
  • RAG基础架构与知识库构建（0-1起步）
  • 为什么需要RAG？解决大模型幻觉与私有数据的矛盾
  • 数据处理ETL流程：
  • 文档解析工具选择（PDF/Word/Excel解析难点）
  • 文本分块（Chunking）策略：按字符、按语义、按段落
  • 数据清洗注意事项：去除噪声对检索的影响
  • 索引与存储：
  • 向量模型（Embedding）的选择与评测
  • 向量数据库选型指南（Milvus/Pinecone/Chroma对比）
  • 进阶版RAG：全流程优化 Pipeline（解决复杂问题）
  • 查询理解与优化（Query Understanding）：
  • 意图识别技术：判断用户是闲聊还是查数据
  • Query改写策略：指代消解、关键词扩展
  • 检索策略详解：
  • 混合检索（Hybrid Search）：向量检索 + 关键词检索（BM25），结合BM25 (关键词) 与Embedding (向量)的实战配置
  • 结构化数据检索：Text-to-SQL在RAG中的应用
  • 后处理与重排序：
  • 重排序为什么是必选项？BGE-M3 (开源) 与 Cohere Rerank (商业) 的效果对比
  • Reranker重排序模型的作用与部署
  • 上下文窗口压缩与提示词注入策略
  • 切分策略：语义切分（Semantic Chunking）与父子索引（Parent-Child Indexing）
  • 前沿技术：GraphRAG (微软)——利用知识图谱解决跨文档推理难题
  • RAG效果评估体系
  • 评估指标：RAGAS框架（忠实度、相关性、准确性）
  • 建立自动化测试集（Golden Dataset）的方法

高阶RAG架构与主流工具栈

高阶RAG架构与主流工具栈
  • RAG核心工具栈（The RAG Stack）
  • 编排框架：LangChain（通用编排）vs LlamaIndex（数据专注）的选择逻辑
  • 文档解析（ETL）：解决 PDF/表格解析难题——Unstructured.io 与 LlamaParse 解决方案
  • 向量数据库（Vector DB）：
  • 云原生：Pinecone
  • 开源/私有化首选：Milvus (Zilliz) 与 Weaviate 的架构对比
  • 评估工具：使用RAGAS 框架自动化评估检索准确率与生成忠实度

Agent技术与综合项目案例拆解

Agent技术与综合项目案例拆解
  • Agent技术拆解与应用
  • Agent vs RAG：从“知识检索”到“任务执行”的跨越
  • Agent核心架构（CoT思维链）：
  • 感知（Perception）、规划（Planning）、行动（Action）、记忆（Memory）
  • 关键组件拆解：Prompt Engineering在Agent中的应用
  • 实战复盘： 基于 Dify 快速搭建一个“企业知识库问答机器人”
  • 配置Prompt编排
  • 挂载知识库
  • 接入API工具（如搜索、天气、企业内部接口）
  • AI产品综合项目案例拆解（Part 1：需求与方案）
  • 案例简介：某大型企业AIGC文档生成平台（含RAG、AI审核、AI校对）
  • 业务背景分析及痛点挖掘
  • 产品方案构建流程：
  • 5看：看行业、看竞品、看技术、看数据、看场景
  • 产品架构图设计（前端交互层、中台逻辑层、底层模型层）
  • 技术栈全景图：
  • 前端：React/Vue
  • 中间层：FastAPI + LangChain
  • 模型层：vLLM 部署 Llama 3
  • 数据层：Milvus + PostgreSQL
  • 关键功能实现：
  • 利用 Function Calling 实现结构化数据提取
  • 利用 Long Context 模型处理超长合同

项目深挖与商业模式构建

项目深挖与商业模式构建
  • AI产品综合项目案例拆解（Part 2：落地与评估）
  • 6大核心场景功能详设：
  • 多模态文档解析、智能问答、辅助写作、合规审核等
  • 数据评测集构建：
  • 如何定义“好”的生成结果？人工评估与自动评估的结合
  • 模型效果评估与Bad Case分析迭代
  • 商业模式设计（如何赚钱）
  • 商业画布分析：
  • 客户细分（ToB vs ToG vs ToC）
  • 价值主张：降本增效还是创新赋能？
  • 收入来源与收费方式：
  • 订阅制（SaaS）
  • 按量付费（Token/API调用次数）
  • 项目制与私有化交付
  • 渠道与客户关系维护
  • 算力成本与产品成本评估（如何省钱）
  • 算力成本构成：
  • 推理成本：Token计费逻辑与优化
  • 训练/微调成本：GPU租用与显存预估
  • 部署模式分类：
  • 公有云API vs 云端私有化部署 vs 本地私有化部署（Local LLM）
  • 算力成本与定价策略（商业核心）
  • 私有化部署工具：Ollama (本地开发)、vLLM (高并发推理加速)、TensorRT-LLM (英伟达)
  • Token 经济学：输入/输出Token成本优化落地（以DeepSeek“价格屠夫”策略为例）
  • SaaS 模式定价：按席位 vs 按调用量 vs 混合定价
  • GPU 选型指南：A100 vs A10 vs 4090 —— 显存需求与并发量估算公式
  • 商业模式设计
  • MaaS (Model as a Service) 模式探讨
  • 集成电路行业的垂直模型训练（Fine-tuning）商业机会
  • 产品研发隐性成本评估：数据标注、运维迭代

结课环节(课程内容转化)

结课环节(课程内容转化)
  • 学员问答
  • 行动计划建议
  • 课程总结
  • 1. 重点内容回顾
  • 2. 课后任务跟进
  • 3. 常用工具介绍

适合对象

公司智能商业负责人、运营团队、产品经理、业务方等

课程定位与主要问题

模型与应用工具如何选型；私有知识检索与效果如何评估；Agent、部署模式和成本边界如何判断

课程适配与选型边界

先明确应用工程化与工具选型任务，再核对原稿岗位、行业案例和实操环境

原稿对象

公司智能商业负责人、运营团队、产品经理、业务方等

训练任务

RAG检索与评估、Agent应用、工具栈与部署成本选择

原稿时长

2天（6小时/天）

版本核对

保留原稿教学版本，不当作当前模型效果、规格或报价；账号与环境需课前确认

课程案例是教学材料；课堂演练不等于生产交付。应用工程化不等于完整模型研发或训练/微调实操，讲师介绍不作为年度供应商资质证明

核心收益

  • 工具选型能力：能够从 ROI 角度评估并选择最适合的 LLM（OpenAI vs DeepSeek vs Llama 3）及中间件（LangChain vs LlamaIndex）
  • 前沿架构掌握：深入掌握 GraphRAG、Hybrid Search等高阶RAG解决方案，以及ReAct与Multi-Agent 的落地架构
  • 工程化实战：熟悉 Dify、Coze等低代码/无代码平台的快速应用搭建，以及vLLM、Ollama 等私有化部署工具的使用
查看更多收益 收起更多收益
  • 效能提升：掌握 Cursor、GitHub Copilot等AI辅助编程工具在软件开发流程中的最佳实践
  • 商业精算：能够运用具体的 Token 计费模型，精确计算公有云与私有云部署的成本差异，制定合理的SaaS或项目制定价策略

课程背景与交付信息

原课纲以具备技术基因的软件与IC企业为背景，关注AI技术栈、私有数据安全与应用、代码辅助和技术文档检索场景

训练结合工具选型、案例拆解、实操演练和成本测算，覆盖RAG优化与评估、Agent方案、部署方式及商业模式

原课纲使用GPT-4o、Claude 3.5、Gemini 1.5、Llama 3、Qwen 2.5、DeepSeek-V2等版本作为教学示例；这些是原稿内容，不代表当前模型规格、效果排行或价格

课程时间

2天（6小时/天）

授课方式

理论精讲、案例分析、实操演练、分组讨论、互动问答

课程工具

LangChain、LlamaIndex、Milvus、Weaviate、Pinecone、Chroma、RAGAS、Dify、Coze、Ollama、vLLM、TensorRT-LLM，以及原稿所列AI编码工具；可用版本与账号要求需课前确认。

学员准备

原稿未独立列明设备、开发基础与账号要求；实操环境、工具版本、数据材料与权限需课前确认。

课程内容重点

01大模型原理解析与行业应用
02模型版图与研发效能工具
03RAG（检索增强生成）技术拆解与进阶
04高阶RAG架构与主流工具栈
05Agent技术与综合项目案例拆解
06项目深挖与商业模式构建
07结课环节(课程内容转化)

讲师介绍

王亚彬 讲师头像

王亚彬

企业级网络安全体系构建专家

企业级网络安全体系构建专家。数字化转型与网络信息安全专家，25年IT实战经验。擅长企业级网络安全体系构建及金融行业数字化转型，主导50+千万级项目，兼具技术深度与业务视野

金融银行石油石化通信政府国企公共事业制造业
查看讲师主页

课程差异说明

原课纲聚焦企业大模型应用工程化、工具与商业成本选择；微调内容涉及原理、成本和商业机会，不据此宣称系统性模型训练实操。软件与IC行业背景不等同银行研发专项交付

课程常见问题

原课纲适合哪些学员，是否要求开发基础？

原稿列明公司智能商业负责人、运营团队、产品经理、业务方等；课程背景围绕软件与IC企业。原稿没有独立声明开发能力门槛，参与代码、部署和工具配置练习所需的基础、账号与环境应课前确认，不把岗位范围自行改写为算法研发人员

课程安排多长时间？

原稿明确2天、6小时/天，采用理论精讲、案例分析、实操演练、分组讨论与互动问答。具体工具准备与现场练习安排需课前确认

RAG与Agent具体训练什么？

原课纲覆盖文档ETL与分块、Embedding及向量库选型、Hybrid Search、重排序、GraphRAG与RAGAS评估，以及Dify知识问答、Prompt编排、知识库/API接入和应用项目架构拆解。课堂练习不等同企业生产系统交付

课纲中的模型版本和价格能作为当前选型依据吗？

课纲保留原稿的模型与工具版本示例；版本、Context Window和价格对比属于原教学内容，不能作为当前规格、排行或报价。开课前应核对实际工具版本、可用性、账号授权和当期计费口径

是否完整覆盖模型研发、训练或微调实操？

原稿讲预训练与微调区别，讨论GPU与微调成本及垂直模型商业机会，重点是大模型应用、RAG、Agent、工具链与部署成本。它没有明确完整训练/微调实操交付或银行研发专项资质，需按具体学习任务另行确认