企业官网建设流程全解析

音乐盒的网站怎么做,无人在线观看高清视频单曲直播,合肥做网站建设,免费外国网站浏览器背景 前文讲了一些为啥部署这么多大模型#xff0c;今天我们来开始实战#xff0c;留存文档#xff0c;备忘。 本文部署选择-国内常用为主 组件选择技术核心原因替代方案不选替代的原因DifyDocker1. 官方支持Docker部署2. 依赖复杂#xff08;数据库/Redis等#xff09…背景前文讲了一些为啥部署这么多大模型今天我们来开始实战留存文档备忘。本文部署选择-国内常用为主组件选择技术核心原因替代方案不选替代的原因DifyDocker1. 官方支持Docker部署2. 依赖复杂数据库/Redis等3. 需要环境隔离直接安装依赖冲突维护困难DeepSeek/QwenOllama1. 模型格式支持好GGUF2. 一条命令运行3. 社区生态完善vLLM/TGI更复杂需要更多配置Embedding/RerankXinference1. 专门为向量模型优化2. 支持多模型并发3. 生产级API和管理单独部署需自建服务框架成本高技术匹配矩阵需求特征DifyLLM推理向量模型匹配技术多服务编排✅需要❌不需要❌不需要→Docker Compose简单易用❌不是重点✅核心需求⚠️中等需求→Ollama最简高性能API✅需要✅需要✅核心需求→Xinference专业模型管理❌不需要✅需要✅核心需求→Ollama/Xinference生产就绪✅必须⚠️可选✅必须→Xinference企业级一句话选择逻辑Dify用Docker因为它是一套复杂Web应用需要多个组件协同LLM用Ollama因为你只想快速跑起来测试不是生产部署向量模型用Xinference因为这是生产核心服务需要性能和稳定性国内最低成本部署方案严格按三主线一、三主线最低成本方案总览主线组件最低成本方案月费用替代方案选择理由主线1腾讯云 Docker Dify腾讯云轻量服务器2核4G6M¥48/月阿里云轻量¥60最便宜的有公网IP服务器主线2Ollama DeepSeek/QwenAutoDL RTX 3090按量计费约¥300-500自己显卡/租赁性价比最高的GPU方案主线3Xinference Embedding/Rerank与主线2共享AutoDL实例¥0已含单独租实例充分利用GPU资源总月成本¥350-550最经济方案二、主线1腾讯云服务器部署Dify最便宜方案1. 购买最便宜服务器购买路径访问腾讯云轻量服务器选择2核4G6M配置地域上海/广州网络最好镜像Ubuntu 22.04时长1个月先测试价格¥48元/月2. 一键安装Docker和Dify纯命令复制SSH登录服务器后逐行执行# 1. 更新系统sudoaptupdatesudoaptupgrade -y# 2. 安装Docker官方脚本curl-fsSL https://get.docker.com -o get-docker.shsudoshget-docker.sh# 3. 安装Docker Composesudocurl-Lhttps://github.com/docker/compose/releases/download/v2.23.0/docker-compose-$(uname-s)-$(uname-m)-o /usr/local/bin/docker-composesudochmodx /usr/local/bin/docker-compose# 4. 下载Dify配置mkdir-p ~/difycd~/difywgethttps://github.com/langgenius/dify/raw/main/docker/docker-compose.yamlwgethttps://github.com/langgenius/dify/raw/main/docker/.env.example -O .env# 5. 修改配置最小化资源catdocker-compose.override.yamlEOF version: 3 services: api: deploy: resources: limits: memory: 1G cpus: 1 ports: - 5001:5001 worker: deploy: resources: limits: memory: 1G cpus: 1 web: ports: - 3000:3000 EOF# 6. 启动Difydocker-composeup -d# 7. 查看状态等待2分钟sleep120docker-composeps3. 配置防火墙必需在腾讯云控制台操作进入轻量服务器管理页面点击防火墙 → 添加规则开放端口3000、5001、80、443保存4. 访问Dify地址http://你的服务器IP:3000初始账号adminexample.com初始密码查看容器日志获取docker-composelogs web|greppassword三、主线2AutoDL部署Ollama最低成本GPU1. 选择最经济GPU实例AutoDL操作步骤注册AutoDL官网手机号注册充值¥100元按量计费先充租用实例地区北京A最便宜GPURTX 309024G显存性价比最高镜像Miniconda Python 3.8计费模式按量计费约¥2-3/小时开机按需开机不用时关机2. 安装Ollama复制执行在AutoDL终端中执行# 1. 安装Ollamacurl-fsSL https://ollama.com/install.sh|sh# 2. 启动Ollama服务ollama serve# 保持后台运行# 3. 在另一个终端拉取模型二选一# 方案ADeepSeek-Coder6.7B编程强ollama pull deepseek-coder:6.7b# 方案BQwen2.5-7B中文理解好ollama pull qwen2.5:7b# 4. 测试模型ollama run qwen2.5:7b你好# 输入后按CtrlD结束3. 设置内网穿透让腾讯云能访问使用AutoDL提供的代理在实例详情页找到自定义服务添加映射本地端口11434Ollama默认协议HTTP获得代理地址类似https://xxxx.proxy.autodl.com测试访问curlhttps://xxxx.proxy.autodl.com/api/tags应返回模型列表四、主线3同一AutoDL部署Xinference不额外花钱1. 在主线2的实例上安装Xinference继续在AutoDL终端执行# 1. 安装Xinferencepipinstallxinference[all]-U# 2. 启动Xinference使用不同端口xinferencelocal--host0.0.0.0 --port9997# 3. 启动Web UI管理界面xinferencelocal--host0.0.0.0 --port9998--web-ui2. 部署Embedding和Rerank模型# 1. 部署Embedding模型二选一# 方案ABGE-M3中文最强xinference launch --model-namebge-m3--model-formatpytorch--endpointhttp://localhost:9997# 方案BBGE-small-zh轻量快速xinference launch --model-namebge-small-zh-v1.5--model-formatpytorch--endpointhttp://localhost:9997# 2. 部署Rerank模型二选一# 方案ABGE-reranker-v2xinference launch --model-namebge-reranker-v2--model-formatpytorch--endpointhttp://localhost:9997# 方案Bbce-reranker-base轻量xinference launch --model-namebce-reranker-base_v1--model-formatpytorch--endpointhttp://localhost:99973. 配置第二个内网穿透回到AutoDL控制台再添加一个自定义服务本地端口9997Xinference API协议HTTP获得第二个代理地址4. 验证服务# 测试Embeddingcurl-X POST你的代理地址/v1/embeddings\-HContent-Type: application/json\-d{model: bge-m3, input: 测试文本}# 测试Rerankcurl-X POST你的代理地址/v1/rerank\-HContent-Type: application/json\-d{model: bge-reranker-v2, query: 问题, documents: [文档1, 文档2]}五、三主线连接配置在Dify中配置模型端点登录Difyhttp://服务器IP:3000进入模型供应商 → “添加模型”配置Ollama主线2模型类型Ollama基础URLhttps://你的ollama代理地址模型名称qwen2.5:7b或deepseek-coder:6.7b配置Xinference主线3模型类型OpenAI兼容基础URLhttps://你的xinference代理地址/v1Embedding模型bge-m3Rerank模型bge-reranker-v2配置工作流在Dify创建知识库应用上传PDF/TXT文档配置处理流程用户提问 → Embedding检索 → Rerank重排序 → LLM生成 → 返回答案六、成本控制与优化表成本项控制方法月节省风险腾讯云服务器轻量服务器¥48不升级¥200性能有限AutoDL GPU按量计费 不用时关机¥1000模型需重载网络流量国内服务器 AutoDL国内节点¥100延迟较低模型存储只用必要模型及时删除¥50重新下载耗时每日关机策略# 创建定时任务AutoDL实例# 每天凌晨2点关机早上9点开机如需要# 通过AutoDL控制台定时任务设置# 或使用API控制七、常见问题解决表问题现象解决方法Dify访问慢页面加载久1. 检查服务器带宽2. 优化Docker资源限制Ollama无响应代理访问失败1. 检查AutoDL实例状态2. 重新配置内网穿透Xinference模型加载失败显存不足1. 改用小模型2. 关闭不需要的服务网络延迟高问答响应慢1. 确保所有服务在国内节点2. 使用CDN加速费用超预期AutoDL扣费快1. 设置消费限额2. 严格按时关机