一、精度问题概述 随着ChatGPT的推出，大模型迅速成为AI界热点。大模型训练需要强大的算力支撑，涉及数据、模型、框架、算子、硬件等诸多环节。由于规模巨大，训练过程复杂，经...
IP属地：江西
一、精度问题概述 随着ChatGPT的推出，大模型迅速成为AI界热点。大模型训练需要强大的算力支撑，涉及数据、模型、框架、算子、硬件等诸多环节。由于规模巨大，训练过程复杂，经...
训练代码迁移 前提条件 要迁移的训练任务代码在GPU上多次训练稳定可收敛。训练业务代码和数据，应该确保在GPU环境中能够运行，并且训练任务有稳定的收敛效果。 本文只针对基于P...
在大模型训练中，TP（张量并行）、DP（数据并行）、PP（流水线并行）和 EP（专家并行）是常见的并行计算策略，用于解决模型规模增长带来的显存不足和计算效率问题。以下是它们的...
RAG类比开卷考试，Finetune类似专业课程学习。 特点对比检索增强生成 (RAG)微调 (FT)知识更新RAG直接更新检索知识库，保持信息最新，模型无需频繁的重新训练，...
结合 RAGFlow 官方文档（https://ragflow.io/docs/dev/[https://ragflow.io/docs/dev/]）及大规模文档处理需求，以...
一、FastMCP简介 FastMCP是一个基于Python的高级框架，专为构建MCP服务器而设计。它极大简化了MCP服务器的开发流程，让开发者能够以最小的代码量创建功能强大...
Llamafile是一种创新的大模型部署格式，由Mozilla Ocho团队开发，旨在将大型语言模型（LLM）及其运行环境封装为单个可执行文件，实现跨平台、免安装的一键运行。...
多模态大模型通过融合文本、视觉、语音等多维度信息，展现出强大的跨模态理解能力，尤其在图像和视频分析领域具有突破性价值。其典型应用场景涵盖拍照解题、光学字符识别（OCR）、人物...
提示词（prompt）其实就是文字，它可以是你向大模型提的问题（如： 帮我解释一下什么是芯片 ），可以是你希望大模型帮你完成的任务（如： 帮我写一首诗/画一幅画* ） 一、大...
DB-GPT 越来大，只用pip来管理依赖包的话不太优雅，因此使用 uv[https://github.com/astral-sh/uv] 来管理。 参考文档中文：https...
https://support.huaweicloud.com/usermanual-lts/lts_04_0041.html[https://support.huaweic...