课程简介
课程结合开源离线大模型，全面讲述并带领学员搭建大模型环境，结合企业实际，通过CV、语音与NLP大模型实现业务需求，如智能客服，财务报表识别，合规检查等。
目标收益
1.理解大模型核心原理，模型训练和优化策略
2.掌握设计有效提示词，以及提示词工程优化实践
3.掌握OLlama搭建方法，以及3种调用大模型方式
4.掌握常用大模型推理参数微调方法
5.掌握CV、语音和NLP 大模型在各种业务场景中的应用
6.结合上机实践，调用DeepSeek，llama-vision，Qwen，stable-diffusion，whisper等大模型
培训对象
IT项目管理人员：负责IT项目的整体规划、协调与管理，需要了解如何利用DeepSeek等大模型技术提升项目效能。
软件开发工程师：从事软件开发工作，希望通过学习大模型技术提升开发效率和代码质量。
测试工程师：负责软件测试工作，需要掌握如何利用大模型技术进行自动化测试和缺陷检测。
数据分析师：从事数据分析工作，需要学习如何利用大模型技术进行数据挖掘和趋势分析。
运维工程师：负责系统运维工作，需要了解如何利用大模型技术实现智能化运维和故障诊断。
AI工程师：从事人工智能相关工作，需要深入学习大模型的训练、优化和应用。
课程大纲
|
【大语言模型核心技术与应用】 ~ 2.5小时 一、AI大模型与应用典型问题分析 |
1.问题分析 2.讨论 |
| 二、大语言模型技术 |
1.AI技术概览 2.AI技术的四要素 3.AI模型的研发流程 4.深度学习与神经网络 5.大语言模型的定义和特点 6.大语言模型技术演变简史 7.大语言模型训练方法和优化技术 8.大模型面临的挑战 |
| 三、大语言模型Transformer核心技术 |
1.Transformer核心原理 2.Self-Attention 3.多头注意力机制 4.位置前馈网络 5.残差连接和层归一化 6.位置编码 7.解码器 8.Mask（掩码） 9.最后的线性层和 Softmax 层 10.正则化操作 11.模型参数量 |
| 四、大模型结果优化策略 |
1.温度微调 2.使用top-k/top-p采样 3.增加上下文信息 4.模型后处理 5.大模型微调 6.多模型融合 7.【案例】生产环境数据抽检评测 8.【案例】badcase分析与优化推荐 |
| 五、主流大模型介绍~文文 |
1.文生文-llamma 2.文生文-Qwen 3.文生文-Deepseek |
| 六、主流大模型介绍~文图 |
1.图生文-Llava 2.图生文-llama-vision 3.文生图-stable-diffusion 4.文生视频- CogVideoX 5.视频生文- VideoChat |
| 七、主流大模型介绍~文音 |
1.文生语音-chatTTS 2.语音生文- whisper |
|
【大模型部署实践与提示词工程】 ~ 2小时 一、OLlama部署应用 |
1.OLlama简介 2.模型参数 3.网络安全隔离 4.部署OLlama环境 5.OLlama常用操作命令 6.离线模型CLI接口 7.模型API接口 8.API调用方式 9.UI调试界面 10.模型微调 11.【案例】实现离线大模型人机对话 |
| 二、上机实践 |
1.OLlama部署 2.Qwen2.5模型部署 3.常用命令操作 4.3种方式调用大模型练习 |
| 三、提示词工程 |
1.什么是提示词工程？ 2.提示词原理 3.如何设计有效提示词 4.提示词的基本结构 4.1.1.指令 4.1.2.上下文 4.1.3.输入数据 4.1.4.输出格式 4.1.5.示例 5.提示词优化方案 6.【案例】提示词返回精准答案 |
| 四、提示词库与脚本调用大模型 |
1.维护提示词库 2.关键词匹配 3.开发脚本调用大模型 4.【案例】一键式调用大模型 |
| 五、上机实践 |
1.提示词优化练习 2.运行一键式调用大模型 |
|
【知识库体系搭建与RAG 】~ 1小时 一、Dify概述与主要功能 |
1.Dify平台概述 2.Dify的核心功能与优势 3.Dify与其他平台对比 4.低代码/无代码开发模式 |
| 二、RAG概述 |
1.什么是RAG 2.RAG 架构 3.检索模块 4.生成模块 5.融合模块 |
| 三、构建本地知识库 |
1.什么是知识库 2.向量数据库 3.使用Embedding模型将文本转换为数值向量 4.导入文本 |
| 四、上机实践 |
1.导入本地知识库 2.创建AI agent 3.【案例】DeepSeek实现智能对话 |
|
【CV图像大模型赋能效能提升应用 】~ 2小时 一、财务报表关键信息提取 |
1.OCR概述 2.OCR技术原理 3.【案例】利用大模型进行报表关键信息提取 |
| 二、图像内容理解 |
1.提示词优化 2.llama-vision大模型技术原理 3.【案例】图像理解 |
| 三、异常交易行为监测 |
1.异常交易规则设定 2.【案例】异常交易监测 |
| 四、图像生成 |
1.提示词优化 2.stable-diffusion大模型技术原理 3.【案例】利用大模型生成图像 |
| 五、图表生成 |
1.基于数据输入自动生成折线图 2.基于输入数据自动生成柱状图 3.【案例】利用Dify工具生成图表 |
| 六、上机实践 |
1.使用Llava和llama-vision实现图生文调用 2.使用stable-diffusion实现文生图调用 |
|
【CV视频大模型赋能效能提升应用】 ~ 1小时 一、视频内容理解 |
1.视频理解大模型技术原理 2.VideoChat应用 3.【案例】OPEC会议/企业财报发布会的视频理解 4.【案例】卫星/无人机视频分析与期货趋势预测 |
| 二、视频生成 |
1.视频生成大模型技术原理 2.CogVideoX应用 3.【案例】大模型生成投资者教育视频 |
| 三、上机实践 |
1.使用VideoChat实现文生视频调用 2.使用CogVideoX实现视频生文调用 |
|
【NLP大模型赋能效能提升应用】~ 4小时 一、DeepSeek概述 |
1.DeepSeek简介 2.DeepSeek架构与原理 3.DeepSeek优势 4.DeepSeek不足 5.如何部署DeepSeek 【案例】本地调用DeepSeek |
| 二、网页爬虫与摘要提取 |
1.什么是爬虫 2.通过API工具调用爬虫 3.AI摘要提取 【案例】实现信息爬取并获取摘要 |
| 三、AI机器翻译 |
1.AI翻译的基本原理 2.使用大模型进行翻译 3.对翻译内容进行优化 【案例】实现信息中英文互译 |
| 四、智能客服 |
1.基本内容问答 2.知识库增强检索RAG 【案例】智能客服应用搭建 |
| 五、舆情分析 |
1.舆情类型 2.【案例】文本情感分类 【案例】多模态进行舆情分析 |
| 六、趋势挖掘 |
1.大数据挖掘 2.趋势分析 【案例】大模型进行趋势预判与挖掘 |
| 七、风险识别 |
1.风险类型定义 【案例】利用大模型进行风险识别 |
| 八、合规检查 |
1.敏感信息与行为库 【案例】利用大模型进行合规检查 |
| 九、上机实践 | 使用Qwen和Deepseek实现以上场景的文生文调用与优化 |
|
【自定义工具与AI智能体集成】~ 0.5小时 Dify自定义工具 |
1.自定义工具创建流程 2.Xinference概述 3.利用Xinference启动本地离线大模型 4.Dify集成Xinference模型服务 5.Dify创建自定义工具 6.Workflow调用自定义工具 7.【案例】Dify内置常用工具 【案例】AI语音识别集成至Dify |
|
【语音大模型赋能效能提升应用】～1小时 一、视频中语音识别 |
1.ASR大模型技术原理 2.音频提取方法 3.ffmpeg提取音频 4.利用whisper进行语音识别 5.利用Deepseek进行识别后文字自动修正 【案例】投资视频提取文案整理 |
| 二、语音合成 |
1.TTS大模型技术原理 2.音色与语速选择 3.chatTTS-ui部署与应用 【案例】chatTTS实现语音合成 |
| 三、上机实践 |
1.视频中语音识别 2.搭建AI智能体进行语音识别并优化结果 |
|
【大模型在DevOps领域的应用】 ~ 3.5小时 一、大模型在CICD中应用 |
大模型在全链路CICD中应用 |
| 二、代码理解与重构建议 |
1.代码重构概述 2.通过DeepSeek进行代码解释 3.通过DeepSeek进行代码重构 【案例】代码重构效果对比 |
| 三、缺陷检测与代码审查 |
1.Code review概述 2.Code review结果解析 3.Code review结果推送 【案例】DeepSeek进行自动化code review |
| 四、白盒测试代码自动化生成 |
1.DeepSeek生成java单元测试代码 2.进行自动化单元测试执行 3.优化单元测试代码 【案例】白盒测试集成至CI流水线 |
| 五、研发自测自动化用例生成 |
1.生成自动化测试脚本 2.【案例】DeepSeek自动生成自动化用例 【案例】自动化用例集成至CI流水线 |
| 六、代码缺陷修复 |
1.常见代码缺陷类型 2.通过DeepSeek进行代码缺陷修复 【案例】代码缺陷自动化检查 |
| 七、UI自动化测试用例生成 |
1.优化提示词 【案例】DeepSeek生成selenium自动化测试用例脚本 |
| 八、代码质量评估 |
1.代码质量评价维度 2.开发代码质量评估脚本 【案例】DeepSeek实现提交代码分钟级质量评估反馈 |
| 九、上机实践 |
1.DeepSeek进行代码分析 2.DeepSeek进行代码自动化生成 |
| 十、智能化运维自动化实践 |
1.DeepSeek生成Jenkins groovy脚本构建CI pipeline 2.根据历史数据做流量预测 3.智能告警与预警 4.监控图像分析与理解 5.智能故障诊断 6.智能故障自愈 |
| 十一、智能化运维降本增效实践 |
1.Docker file扫描优化实践 2.动态缩扩容实践 3.存储优化实践 4.机器资源配比优化实践 |
| 十二、智能错误定位 |
1.日志等级与规范 2.分析错误日志 3.【案例】通过DeepSeek进行错误自动化定位 【案例】通过Llama进行监控图像异常分析 |
|
【大语言模型核心技术与应用】 ~ 2.5小时 一、AI大模型与应用典型问题分析 1.问题分析 2.讨论 |
|
二、大语言模型技术 1.AI技术概览 2.AI技术的四要素 3.AI模型的研发流程 4.深度学习与神经网络 5.大语言模型的定义和特点 6.大语言模型技术演变简史 7.大语言模型训练方法和优化技术 8.大模型面临的挑战 |
|
三、大语言模型Transformer核心技术 1.Transformer核心原理 2.Self-Attention 3.多头注意力机制 4.位置前馈网络 5.残差连接和层归一化 6.位置编码 7.解码器 8.Mask（掩码） 9.最后的线性层和 Softmax 层 10.正则化操作 11.模型参数量 |
|
四、大模型结果优化策略 1.温度微调 2.使用top-k/top-p采样 3.增加上下文信息 4.模型后处理 5.大模型微调 6.多模型融合 7.【案例】生产环境数据抽检评测 8.【案例】badcase分析与优化推荐 |
|
五、主流大模型介绍~文文 1.文生文-llamma 2.文生文-Qwen 3.文生文-Deepseek |
|
六、主流大模型介绍~文图 1.图生文-Llava 2.图生文-llama-vision 3.文生图-stable-diffusion 4.文生视频- CogVideoX 5.视频生文- VideoChat |
|
七、主流大模型介绍~文音 1.文生语音-chatTTS 2.语音生文- whisper |
|
【大模型部署实践与提示词工程】 ~ 2小时 一、OLlama部署应用 1.OLlama简介 2.模型参数 3.网络安全隔离 4.部署OLlama环境 5.OLlama常用操作命令 6.离线模型CLI接口 7.模型API接口 8.API调用方式 9.UI调试界面 10.模型微调 11.【案例】实现离线大模型人机对话 |
|
二、上机实践 1.OLlama部署 2.Qwen2.5模型部署 3.常用命令操作 4.3种方式调用大模型练习 |
|
三、提示词工程 1.什么是提示词工程？ 2.提示词原理 3.如何设计有效提示词 4.提示词的基本结构 4.1.1.指令 4.1.2.上下文 4.1.3.输入数据 4.1.4.输出格式 4.1.5.示例 5.提示词优化方案 6.【案例】提示词返回精准答案 |
|
四、提示词库与脚本调用大模型 1.维护提示词库 2.关键词匹配 3.开发脚本调用大模型 4.【案例】一键式调用大模型 |
|
五、上机实践 1.提示词优化练习 2.运行一键式调用大模型 |
|
【知识库体系搭建与RAG 】~ 1小时 一、Dify概述与主要功能 1.Dify平台概述 2.Dify的核心功能与优势 3.Dify与其他平台对比 4.低代码/无代码开发模式 |
|
二、RAG概述 1.什么是RAG 2.RAG 架构 3.检索模块 4.生成模块 5.融合模块 |
|
三、构建本地知识库 1.什么是知识库 2.向量数据库 3.使用Embedding模型将文本转换为数值向量 4.导入文本 |
|
四、上机实践 1.导入本地知识库 2.创建AI agent 3.【案例】DeepSeek实现智能对话 |
|
【CV图像大模型赋能效能提升应用 】~ 2小时 一、财务报表关键信息提取 1.OCR概述 2.OCR技术原理 3.【案例】利用大模型进行报表关键信息提取 |
|
二、图像内容理解 1.提示词优化 2.llama-vision大模型技术原理 3.【案例】图像理解 |
|
三、异常交易行为监测 1.异常交易规则设定 2.【案例】异常交易监测 |
|
四、图像生成 1.提示词优化 2.stable-diffusion大模型技术原理 3.【案例】利用大模型生成图像 |
|
五、图表生成 1.基于数据输入自动生成折线图 2.基于输入数据自动生成柱状图 3.【案例】利用Dify工具生成图表 |
|
六、上机实践 1.使用Llava和llama-vision实现图生文调用 2.使用stable-diffusion实现文生图调用 |
|
【CV视频大模型赋能效能提升应用】 ~ 1小时 一、视频内容理解 1.视频理解大模型技术原理 2.VideoChat应用 3.【案例】OPEC会议/企业财报发布会的视频理解 4.【案例】卫星/无人机视频分析与期货趋势预测 |
|
二、视频生成 1.视频生成大模型技术原理 2.CogVideoX应用 3.【案例】大模型生成投资者教育视频 |
|
三、上机实践 1.使用VideoChat实现文生视频调用 2.使用CogVideoX实现视频生文调用 |
|
【NLP大模型赋能效能提升应用】~ 4小时 一、DeepSeek概述 1.DeepSeek简介 2.DeepSeek架构与原理 3.DeepSeek优势 4.DeepSeek不足 5.如何部署DeepSeek 【案例】本地调用DeepSeek |
|
二、网页爬虫与摘要提取 1.什么是爬虫 2.通过API工具调用爬虫 3.AI摘要提取 【案例】实现信息爬取并获取摘要 |
|
三、AI机器翻译 1.AI翻译的基本原理 2.使用大模型进行翻译 3.对翻译内容进行优化 【案例】实现信息中英文互译 |
|
四、智能客服 1.基本内容问答 2.知识库增强检索RAG 【案例】智能客服应用搭建 |
|
五、舆情分析 1.舆情类型 2.【案例】文本情感分类 【案例】多模态进行舆情分析 |
|
六、趋势挖掘 1.大数据挖掘 2.趋势分析 【案例】大模型进行趋势预判与挖掘 |
|
七、风险识别 1.风险类型定义 【案例】利用大模型进行风险识别 |
|
八、合规检查 1.敏感信息与行为库 【案例】利用大模型进行合规检查 |
|
九、上机实践 使用Qwen和Deepseek实现以上场景的文生文调用与优化 |
|
【自定义工具与AI智能体集成】~ 0.5小时 Dify自定义工具 1.自定义工具创建流程 2.Xinference概述 3.利用Xinference启动本地离线大模型 4.Dify集成Xinference模型服务 5.Dify创建自定义工具 6.Workflow调用自定义工具 7.【案例】Dify内置常用工具 【案例】AI语音识别集成至Dify |
|
【语音大模型赋能效能提升应用】～1小时 一、视频中语音识别 1.ASR大模型技术原理 2.音频提取方法 3.ffmpeg提取音频 4.利用whisper进行语音识别 5.利用Deepseek进行识别后文字自动修正 【案例】投资视频提取文案整理 |
|
二、语音合成 1.TTS大模型技术原理 2.音色与语速选择 3.chatTTS-ui部署与应用 【案例】chatTTS实现语音合成 |
|
三、上机实践 1.视频中语音识别 2.搭建AI智能体进行语音识别并优化结果 |
|
【大模型在DevOps领域的应用】 ~ 3.5小时 一、大模型在CICD中应用 大模型在全链路CICD中应用 |
|
二、代码理解与重构建议 1.代码重构概述 2.通过DeepSeek进行代码解释 3.通过DeepSeek进行代码重构 【案例】代码重构效果对比 |
|
三、缺陷检测与代码审查 1.Code review概述 2.Code review结果解析 3.Code review结果推送 【案例】DeepSeek进行自动化code review |
|
四、白盒测试代码自动化生成 1.DeepSeek生成java单元测试代码 2.进行自动化单元测试执行 3.优化单元测试代码 【案例】白盒测试集成至CI流水线 |
|
五、研发自测自动化用例生成 1.生成自动化测试脚本 2.【案例】DeepSeek自动生成自动化用例 【案例】自动化用例集成至CI流水线 |
|
六、代码缺陷修复 1.常见代码缺陷类型 2.通过DeepSeek进行代码缺陷修复 【案例】代码缺陷自动化检查 |
|
七、UI自动化测试用例生成 1.优化提示词 【案例】DeepSeek生成selenium自动化测试用例脚本 |
|
八、代码质量评估 1.代码质量评价维度 2.开发代码质量评估脚本 【案例】DeepSeek实现提交代码分钟级质量评估反馈 |
|
九、上机实践 1.DeepSeek进行代码分析 2.DeepSeek进行代码自动化生成 |
|
十、智能化运维自动化实践 1.DeepSeek生成Jenkins groovy脚本构建CI pipeline 2.根据历史数据做流量预测 3.智能告警与预警 4.监控图像分析与理解 5.智能故障诊断 6.智能故障自愈 |
|
十一、智能化运维降本增效实践 1.Docker file扫描优化实践 2.动态缩扩容实践 3.存储优化实践 4.机器资源配比优化实践 |
|
十二、智能错误定位 1.日志等级与规范 2.分析错误日志 3.【案例】通过DeepSeek进行错误自动化定位 【案例】通过Llama进行监控图像异常分析 |
近期公开课推荐