Agents-A1-OptiQ-4bit终极揭秘：从65GB到22GB的混合精度量化黑科技

Agents-A1-OptiQ-4bit终极揭秘从65GB到22GB的混合精度量化黑科技【免费下载链接】Agents-A1-OptiQ-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Agents-A1-OptiQ-4bitAgents-A1-OptiQ-4bit是基于InternScience/Agents-A1模型的4位混合精度MLX量化版本采用Qwen3.5-35B-A3B混合专家架构256个专家每个token激活8个。通过将敏感层保持在8位稳健层保持在4位成功将65GB的bf16权重压缩至仅22GB同时保留了图像输入功能视觉塔以bf16格式存储在辅助文件中。 24GB Mac运行指南22GB的模型在24GB Mac的Metal工作集中无法舒适运行加载后会导致解码速度极慢。推荐使用SSD专家流技术仅读取每个token的活跃专家optiq serve --model mlx-community/Agents-A1-OptiQ-4bit --stream-experts这将使常驻内存降至4.58GB。在optiq serve中流技术是默认的auto当MoE模型无法容纳时会自动启用上面的标志只是使其显式化。在32GB的Mac上模型可以常驻内存无需流技术。 量化详细参数属性值主要精度4-bit8位层敏感层3974位层稳健层113总量化层数510每权重实现位数4.513组大小64专家数量每层256个每个token激活8个视觉塔bf16333个张量位于optiq/optiq_vision.safetensors磁盘大小22GB语言模型21GB视觉辅助文件0.9GB源自65GB bf16基础模型我们遵循llama.cpp对Q4_K_M和类似混合精度量化的命名约定4-bit标签是主要精度而非加权平均值。 位宽选择方法每层的位宽分配源自mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit通过在六域校准混合集上针对bf16参考进行KL散度敏感性扫描得出。Agents-A1基于Qwen/Qwen3.5-35B-A3B构建其架构未改变文本配置的每个字段都匹配因此所有510个可量化层完全映射当针对Agents-A1自己的张量重新计算时分配的每权重位数为4.513。这些是测量的位宽不是静态的经验法则。但它们是在基础模型上测量的而不是在这个微调版本上。微调会改变权重因此Agents-A1自己的每层敏感性可能与基础模型有所不同。哪些层脆弱主要是架构的属性因此这种迁移是合理的但需要了解这一点。只有语言塔被量化。视觉塔保持bf16格式这是所有OptiQ VLM的发布方式。 使用方法文本交互pip install mlx-optiq optiq serve --model mlx-community/Agents-A1-OptiQ-4bit --stream-experts然后将任何OpenAI兼容的客户端指向http://127.0.0.1:8080/v1。辅助文件位于optiq/子文件夹中因此常规的*.safetensors通配符会忽略它mlx-lm会看到一个干净的语言模型from mlx_lm import load, generate model, tokenizer load(mlx-community/Agents-A1-OptiQ-4bit) response generate(model, tokenizer, promptExplain MoE routing., max_tokens512)注意mlx_lm.load会将整个模型驻留内存在24GB Mac上速度较慢。推荐在那里使用optiq serve --stream-experts。这是一个推理模型它会在回答前思考因此给它足够的max_tokens来完成。图像交互通过OpenAI兼容端点发送图像import base64, io, requests from PIL import Image buf io.BytesIO(); Image.open(photo.jpg).save(buf, formatPNG) uri data:image/png;base64, base64.b64encode(buf.getvalue()).decode() requests.post(http://127.0.0.1:8080/v1/chat/completions, json{ model: a1, max_tokens: 256, messages: [{role: user, content: [ {type: text, text: What is in this image?}, {type: image_url, image_url: {url: uri}}]}]})✅ 验证与质量保证发布前在24GB M4上通过专家流技术对文本、算术推理和图像理解进行了全面测试。量化也经过数值检查从工件中解量化单个专家并与bf16检查点中的相应专家进行比较8位层的平均相对误差为0.7%4位层为9.8%这是每个位宽应有的代价。此量化未运行任务基准测试有关基础架构的测量质量数据请参见Qwen3.5-35B-A3B OptiQ卡片。量化不会改变基础模型的行为或对齐方式。请在与原始模型相同的条款下使用。【免费下载链接】Agents-A1-OptiQ-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Agents-A1-OptiQ-4bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考