模型工程三部曲 · 下：开源选型——"用开源"还是"造开源"的决策框架

为什么讲这个案例：三部曲的上、中讲了"模型怎么训""怎么提速"，本篇收口于"面对一个真实项目，权重就在 Hugging Face 上摆着，你到底怎么选、敢不敢用、能不能复现"。它把 需求约束 → 许可证条款 → 供应链信任 → 版本可复现 串成一条决策链，且不需要真跑大模型就能做纸上推演与清单落地。

阅读路径：§1 澄清三个正交概念（建立词汇表），§2–§3 讲许可证与信任链（约束来源），§4–§5 给决策树与选型矩阵（核心方法），§6–§7 落到合规与可复现（软性约束），§8 是动手交付物（清单 + 校验代码 + 工作表），§9–§10 是失败样例与跨案例接口。

诚实声明：具体模型的许可证条款随版本频繁变化，本篇不替读者断定任何模型"能不能商用"，只给可操作的核查路径；正文里以"DeepSeek V4 之类新模型"为例，条款由读者自行核查后回填 §8 的工作表。

1. 先分清三件正交的事：权重 ≠ 数据 ≠ 代码

讨论"开源模型"时最大的混淆，是把"能下载到权重"直接等同于"开源"。工程上必须把一句话拆成三个相互独立（正交）的维度：可得的是参数、是训练数据 / 配方、还是完整可复现的训练代码。它们各自回答不同的问题，也各自对应不同的法律与供应链后果。

1.1 open-weights / open-data / open-code 三栏对照

1.2 还有第四个正交维度：许可证授予的权利

"可得"是物理问题（文件在不在），"可用"是法律/条款问题（许可证让你做到哪一步）。这三层可得性之上，还压着一张独立的许可证，它决定你被允许拿这些权重 / 数据 / 代码做什么。把"可得"和"可用"混为一谈，是 §9 失败样例里"许可证误读"的根源。

关键在最后那个 ℓ：前三项决定"技术上做不做得到"，ℓ 决定"合规上准不准做"。一个只有权重可得、许可证却禁止商用的模型，对企业部署而言可用性直接归零——这就是下一节"许可证即架构约束"。

2. 许可证不是细节，是架构约束

很多团队把许可证留到最后"扫一眼 LICENSE 文件"。在智能软件工程里，许可证应当和需求、显存预算一样，在架构设计阶段就进来当约束。因为它能否决整条技术路线。

2.1 从宽松到受限的光谱

2.2 核查方法：带读者"自己去查"，而不是替他下结论

正文刻意不写"DeepSeek V4 可以 / 不可以商用"这类断言——条款按版本变，任何二手结论都会过期。给读者的是可复用的核查路径：

1. 认原始来源：去模型官方仓库 / 官网，而不是转载它的第三方页面或量化版 repo。转载方常改写、遗漏或只贴半句 LICENSE。
2. 读三处：仓库根目录的 LICENSE、模型卡片(MODEL_CARD)上的 License 字段与 Use Policy、以及是否存在多许可（例如权重一个许可、代码另一个许可、数据另有说明）。
3. 盯条款信号：是否有"Production Use / 商用限制"、"Use Policy 违规领域清单"、"Derived Models 需继承条款"、"月活 / 营收阈值触发授权"等字样。
4. 记版本与时间：把所查仓库的具体 revision、许可证原文快照、下载日期一起写进 §8 的清单——因为条款会变，可追溯比结论更重要。

实践要点：让读者把"某个我不确定的新模型"按上面四步跑一遍，把结论和证据填进 §8 工作表。核查动作本身就是交付物，结论对不对反而次要——因为真实工程里，法务也是这么查的。

3. 信任链与供应链：官方权重 vs 社区再量化版

决定"用哪个权重文件"本身就是供应链管理。同一个模型，往往有官方发布的 .safetensors，也有社区转出的 GGUF / AWQ / GPTQ 量化版，散落在不同人的仓库里。选错来源，等于把系统的地基交给一个没审计过的第三方。

3.1 再量化版引入的信任链问题

"再量化"是社区为省显存把官方权重做量化转换（如 GGUF 给 llama.cpp、AWQ / GPTQ 给推理框架）。它技术上方便，但供应链上把信任问题从一层变成一条链：

3.2 供应链校验清单（来源 / hash / Model Card / model-index）

• 来源：仓库 owner 是否官方账号？是否被官方 Model Card 反向链接？转载者有没有说明"从哪个官方 commit 量化而来"。
• hash：下载后计算 SHA-256，与官方仓库 / release 标注的哈希比对；社区量化版若给不出可追溯哈希，视为不可信。§8 提供一段 Python 校验片段。
• Model Card：是否说明量化方式（GPTQ/AWQ/bits）、评测掉点、已知限制；缺失即是文档债。
• model-index / 元数据：仓库的结构化元数据（评测集、base 模型、pipeline_tag）可与官方交叉验证 base 关系。

3.3 模型版本清单：本篇建立、pr10 / pr15 复用的核心交付

把上面所有校验落成一条机器可读记录，就是"模型版本清单(model manifest)"。明确贯穿线索：本清单由 pr13（本篇）建立，供 pr10 的评测流水线与 pr15 的 CI/CD 版本管理直接消费。它把"我们到底用的是哪个权重、哪份许可、什么量化、什么 hash"钉死成可审计的单一事实来源(single source of truth)。

工程价值：没有清单，团队里"我本地那个 4-bit 版"和"服务器上那个官方版"能吵一周；有了清单，pr15 的 CI 能自动比对 hash、pr10 的评测结果能精确挂回某一条 revision 上。

4. "用开源" vs "造开源"：决策树

选型不只是"用哪个现成权重"，还包括"要不要自己造"。三个成本递增、可控性也递增的档位：直接用现成权重 → 在现成权重上微调 → 从 MiniMind 这类小模型自研。下面这棵树帮你在给定约束下选档。

4.1 两个场景的对照决策记录

反面判据：企业里"为了自主可控而硬要从零训大模型"，多数是成本灾难；实践中"为了省事只调 API、从不碰权重"，多数学不到模型工程。决策树的意义是让档位跟着目标走，而不是跟着技术时髦走。

5. 选型矩阵：六个维度、三类候选

把前面所有约束压进一张可打分的表。维度 = 能力 / 成本 / 许可证 / 可私有化 / 供应链风险 / 可复现性；候选 = 旗舰开源 / 中小可部署 / 可完全自研（MiniMind）。用定性评级（● 强 / ◐ 中 / ○ 弱），刻意不给"谁绝对最好"——因为权重随场景变。

5.1 把矩阵变成决策：加权效用而非单指标

选型不是查最高分，而是把六维按项目优先级加权求和。给一个可讨论、可回填的形式化骨架，让读者把权重换成自己场景的值：

其中 s_i(m) ∈ {1, 2, 3} 对应 ○/◐/● 三档打分；α_i 是维度权重。合规敏感项目把 α_许可证、α_供应链 调高；复现验证项目把 α_可复现、α_成本 调高。同一个矩阵，不同权重排出不同冠军——这正是"选型是软件工程决策"的数学表达。

动手练习：分别以"企业客服落地"和"复现验证"为场景，给同一批候选填 α，看排名如何反转。结论：没有场景就没有最优解。

6. 合规与伦理要点

选型时就把伦理 / 合规成本算进来，而不是上线后补救。三个一句话级别的落点，重点在它如何改变选型决策：

• 数据授权链：若走 open-data 路线或用带数据披露的模型，要能追溯到语料来源是否含未授权内容——否则商用即埋雷。它直接抬高"数据不透明"候选的合规成本。
• 输出可识别性：涉及生成内容的场景，是否有 AI 标识 / 水印义务，可能限制你能选哪个部署形态。
• 蒸馏与人物形象边界：用某模型输出蒸馏另一个模型、或涉及真人形象 / 声音，须回到 pr04 的伦理审查表逐项过——把伦理当选型输入项而非事后检查。

诚实边界：伦理与法规随地区与时间变化，本篇只标注"这是选型时必须核查的成本项"，具体判定交由 pr04 审查表与当地法规，不在此下结论。

7. 可复现性作为一等选型指标

很多团队把可复现性当"研究洁癖"，但在生产里它是可运维性的前提。可复现拆成三个可核查的问题：

接口预告（pr15）：可复现性是本篇与 CI/CD 的接缝——pr15 会在流水线里自动拉取清单声明的 revision、重算 hash、比对是否漂移。本篇负责把"声明"写对，pr15 负责让"漂移"当场报警。

8. 动手练习：清单 schema + hash 校验 + 许可工作表

本节是本篇的主要交付物。读者产出一份能被 pr10 / pr15 消费的模型版本清单，并用脚本校验 hash，再填一张许可证核查工作表。以代码 / 表格为主，不要求大段脚本。

8.1 最小模型版本清单（YAML schema）

# 由 pr13 建立；pr10 评测流水线与 pr15 CI/CD 直接消费本文件
manifest_version: 1
model:
  name: "example-model-7b"
  source:                       # 供应链：来源与信任链
    repo: "official-owner/example-model-7b"   # 必须是官方 owner
    revision: "a1b2c3d4e5..."                  # 锁 commit，而非 main
    origin: "official"          # official | community-quant | mirror
  license:                      # 许可证：授予的权利（核查后填，勿臆断）
    spdx: "NOASSERTION"         # 未确认前诚实写 NOASSERTION，不猜
    license_url: "https://.../LICENSE"
    verified_at: "2026-01-01"    # 你实际核查的日期
    commercial_use: "unknown"   # allowed | restricted | unknown
    use_policy: true             # 是否附带使用政策 / 领域限制
  weights:                       # 权重与量化
    file: "model-7b-q4_k_m.gguf"
    format: "GGUF"               # safetensors | GGUF | AWQ | GPTQ
    quantization: "q4_k_m"       # 若为社区再量化，量化者须另记 provenance
    sha256: "PLACEHOLDER_FILL_AFTER_HASHING"
    base_model_hash: "official-release-sha256..."  # 对官方 base 的可追溯哈希
  runtime:                       # 依赖运行时（决定可离线部署 / 可复现）
    engine: "llama.cpp"
    engine_version: "b4021"
    python: "3.11"
  evaluation:                    # 供 pr10 回填
    benchmark_results: null      # 关联 pr10 评测产物路径
    judge: null                  # LLM-as-a-Judge 结果（pr10 §评测）

8.2 Python：下载后校验权重 hash

import hashlib, yaml, sys

def sha256_of(path, chunk=1 << 20):
    h = hashlib.sha256
    with open(path, "rb") as f:
        for blk in iter(lambda: f.read(chunk), b""):
            h.update(blk)
    return h.hexdigest

def check(manifest_path, weight_path):
    m = yaml.safe_load(open(manifest_path, encoding="utf-8"))
    declared = m["model"]["weights"]["sha256"]
    actual = sha256_of(weight_path)
    fmt = m["model"]["weights"]["format"]
    lic = m["model"]["license"]

    # 1) 供应链：hash 必须与清单声明一致
    if declared in ("", "PLACEHOLDER_FILL_AFTER_HASHING"):
        print("[WARN] 清单未填 sha256，请先计算并回填"); sys.exit(2)
    if actual != declared:
        print(f"[FAIL] hash 漂移! 声明={declared}\n             实测={actual}")
        print("        来源不可信或版本被替换，禁止进入 pr10/pr15 流水线")
        sys.exit(1)

    # 2) 许可证：未核查项不得放行到生产
    if lic.get("commercial_use") == "unknown" or lic.get("spdx") == "NOASSERTION":
        print("[WARN] 许可证字段仍是占位，请完成 §8.3 核查工作表后回填")

    print(f"[OK] {fmt} 权重校验通过 sha256={actual[:12]}…  revision={m['model']['source']['revision'][:8]}")

if __name__ == "__main__":
    check("model_manifest.yaml", sys.argv[1] if len(sys.argv) > 1 else "weights.bin")

要点：让 pr15 在 CI 里跑这段脚本——只要权重被偷偷换过、hash 对不上，流水线立即 exit(1) 阻断。这一句代码就是"可复现 / 可审计"落地的最小闭环。

8.3 许可证核查工作表（读者自填）

拿一个你尚不确定的新模型（如"DeepSeek V4 之类"），按 §2.2 的四步核查后填表。结论必须由你亲手查得并附证据，不接受抄来的断言。

9. 结论与失败样例：选型踩坑清单

本篇的核心论点一句话：开源选型是软件工程决策，不是"跑分冠军排行榜"。下面三条是最典型的失败样例，正好回扣前面章节：

9.1 一页纸避坑清单

• ☑ 先分权重 / 数据 / 代码三层可得性，再叠加许可证一层可用权（§1）
• ☑ 许可证在架构阶段当约束，核查动作 = 认原始来源 + 读三处 + 盯条款信号 + 记版本时间（§2）
• ☑ 优先官方权重本地量化；用社区版必校验来源 + hash + Model Card + model-index（§3）
• ☑ 模型版本清单由本篇建立、pr10 / pr15 复用——单一事实来源（§3.3）
• ☑ 用决策树绑定场景选档，用加权矩阵排候选，不给"绝对最好"（§4 / §5）
• ☑ 合规伦理与可复现性都是选型输入项，不是事后检查（§6 / §7）

10. 跨案例接口

三部曲小结：上篇讲模型怎么训（构造），中篇讲怎么提速（性能），本篇讲怎么选、敢不敢用、能不能复现（决策）。三者合起来，模型才真正从"一个文件"变成"可版本化、可审计、可治理的软件组件"。