企业官网建设流程全解析

网站 电信已备案 联通,网站设计原型,南昌英文网站建设,wordpress 图片加速目录 1. RKLLM-Toolkit 2. RKLLM-Toolkit安装 3. 模型转换 本文主要讲述在已有环境下#xff0c;在PC端进行大语言模型转换#xff0c;使得转换之后的模型可在RK3588开发板上进行部署和推理。注意#xff1a;模型转换需要在X86架构上进行。 重要参考文档#xff1a;http…目录1. RKLLM-Toolkit2. RKLLM-Toolkit安装3. 模型转换本文主要讲述在已有环境下在PC端进行大语言模型转换使得转换之后的模型可在RK3588开发板上进行部署和推理。注意模型转换需要在X86架构上进行。重要参考文档https://doc.embedfire.com/linux/rk356x/Ai/zh/latest/README.html1. RKLLM-ToolkitRKLLM-Toolkit 是为用户提供在计算机上进行大语言模型的量化、转换的开发套件。通过该工具提供的接口可以便捷地完成模型转换和模型量化。2. RKLLM-Toolkit安装拉取RKLLM源码以及目录文件说明# 拉取源码 git clone https://github.com/airockchip/rknn-llm.git # 目录说明 . ├── benchmark.md # 相关模型的测试性能 ├── CHANGELOG.md # 更新日志 ├── doc # RKLLM用户手册 ├── examples # 模型转换示例 ├── LICENSE ├── README.md ├── res ├── rkllm-runtime # 板端部署的库和例程 ├── rkllm-toolkit # rkllm-toolkit包 ├── rknpu-driver # RKNPU驱动 └── scripts # 固定cpu、ddr、npu频率的脚本 8 directories, 4 files使用conda创建一个rkllm1.2.1环境# 创建RKLLM_Toolkit环境 conda create -n rkllm1.2.1 python3.10 conda activate rkllm1.2.1 # 切换到前面拉取工程的rkllm-toolkit目录下 cd rknn-llm/rknn-toolkit/ # 安装rkllm_toolkit(文件请根据具体版本修改)会自动下载RKLLM-Toolkit工具所需要的相关依赖包。 (rkllm1.2.1) llhllh:/xxx/rknn-llm/rkllm-toolkit$ pip3 install rkllm_toolkit-1.2.1-cp310-cp310-linux_x86_64.whl简单检测下安装的RKLLM-Toolkit正常是没有错误输出(rkllm1.2.1) llhllh:/xxx$ python3 Python 3.10.18 (main, Jun 5 2025, 13:14:17) [GCC 11.2.0] on linux Type help, copyright, credits or license for more information. from rkllm.api import RKLLM 3. 模型转换RKLLM-Toolkit提供模型的转换、量化功能将Hugging Face格式或者GGUF格式的大语言模型转换为RKLLM模型然后使用RKLLM Runtime的接口实现板端推理。目前支持的模型有 LLAMA models, TinyLLAMA models, Qwen2/Qwen2.5/Qwen3, Phi2/Phi3, ChatGLM3-6B, Gemma2/Gemma3, InternLM2 models, MiniCPM3/MiniCPM4, TeleChat2, Qwen2-VL-2B-Instruct/Qwen2-VL-7B-Instruct/Qwen2.5-VL-3B-Instruct, MiniCPM-V-2_6,DeepSeek-R1-Distill,Janus-Pro-1B,InternVL2-1B,SmolVLM,RWKV7, 最新支持情况请查看 rknn-llm文档。模型导出程序export_rkllm.py位于\rknn-llm-main\examples\rkllm_api_demo\export路径下如下from rkllm.api import RKLLM import argparse if __name__ __main__: argparse argparse.ArgumentParser() argparse.add_argument(--modelpath, typestr, defaultQwen-1_8B-Chat, helpmodel path, requiredTrue) argparse.add_argument(--target-platform, typestr, defaultrk3588, helptarget platform, requiredFalse) argparse.add_argument(--dataset_path, typestr, helpcalibration data path) argparse.add_argument(--num_npu_core, typeint, default3, helpnpu core num(rk3588:0-3, rk3576:0-2), requiredFalse) argparse.add_argument(--optimization_level, typeint, default1, helpoptimization_level(0 or 1), requiredFalse) argparse.add_argument(--quantized_dtype, typestr, defaultw8a8, helpquantized dtype(rk3588:w8a8/w8a8_g128/w8a8_g256/w8a8_g512....), requiredFalse) argparse.add_argument(--quantized_algorithm, typestr, defaultnormal, helpquantized algorithm(normal/grq/gdq), requiredFalse) argparse.add_argument(--device, typestr, defaultcpu, helpdevice(cpu/cuda), requiredFalse) argparse.add_argument(--savepath, typestr, defaultQwen-1_8B-Chat.rkllm, helpsave path, requiredFalse) args argparse.parse_args() qparams None # Use extra_qparams # init llm RKLLM() # Load model ret llm.load_huggingface(modelargs.modelpath, model_lora None, deviceargs.device, dtypefloat32, custom_configNone, load_weightTrue) # ret llm.load_gguf(model modelpath) if ret ! 0: print(Load model failed!) exit(ret) # Build model ret llm.build(do_quantizationTrue, optimization_levelargs.optimization_level, quantized_dtypeargs.quantized_dtype, quantized_algorithmargs.quantized_algorithm, target_platformargs.target_platform, num_npu_coreargs.num_npu_core, extra_qparamsqparams, datasetargs.dataset_path) if ret ! 0: print(Build model failed!) exit(ret) # Export rkllm model ret llm.export_rkllm(savepath) if ret ! 0: print(Export model failed!) exit(ret)1、调用RKLLM-Toolkit提供的接口初始化RKLLM对象然后调用rkllm.load_huggingface()函数加载模型2、通过rkllm.build()函数对RKLLM模型的构建需要设置参数do_quantization是否量化 设置目标平台等等详细参数请参考 rknn-llm文档 ;3、最后通过rkllm.export_rkllm()函数将模型导出为RKLLM模型文件。在运行export_rkllm.py程序之前可以先根据模型特点与使用场景准备生成量化的校准样本 运行程序generate_quant_data.py生成量化校正数据集该数据集用于后面模型量化如果没有相关数据可以不设置rkllm.build()的dataset参数。运行export_rkllm.py转换模型为RKLLM模型。RKLLM模型转换成功后会在当前目录生成qwen.rkllm文件,然后将该文件到板卡系统中用于后面部署测试。注意点export目录下一共存在两个py文件generate_data_quant.py用于生成后续量化所使用的测试数据即data_quant.json文件export_rkllm.py则用于模型转换。