本帖使用社区开源推广，符合推广要求。我申明并遵循社区要求的以下内容：

我的帖子已经打上开源推广标签： 是
我的开源项目完整开源，无未开源部分： 是
我的开源项目已链接认可 LINUX DO 社区： 是
我帖子内的项目介绍，AI生成、润色内容部分已截图发出： 是
以上选择我承诺是永久有效的，接受社区和佬友监督： 是

以下为项目介绍正文内容，AI生成、润色内容已使用截图方式发出

项目地址：GitHub - sup194/model-forensics: model-forensics is a CLI for two related jobs: - anomaly screening for suspicious LLM APIs - reference-model matching against a local fingerprint database · GitHub

model-forensics

model-forensics 是一个 CLI 工具，用来检查模型提供商提供的模型是否造假。
适合这类场景：

中转站造假， 挂羊头，卖狗肉
模型背后实际混用多种模型
对比不同时期的模型表现，判断模型是不是稳定，是不是后端切换成了其他模型

怎么检查的

通过组合测试用例作异常筛查
基于官方模型建立本地指纹库做模型匹配检测

快速开始

方式 A：不使用本地 reference

快速初筛，可以先不建立本地 reference，直接运行：

mforensics inspect examples/targets.yaml

方式 B：使用本地 reference

如果你想有进一步的对照证据，可以先从官方模型建立本地 reference：

mforensics profile examples/reference.yaml --save-as gpt-4o-official --db data/model-forensics.sqlite

然后在检测对应的模型：

mforensics inspect examples/targets.yaml --db data/model-forensics.sqlite --out reports/run-001

对比历史运行

你还可以对比不同时期的结果，判断一个模型是否稳定，或者是否发生了后端切换：

mforensics compare <run-id-a> <run-id-b> --db data/model-forensics.sqlite

命令

mforensics inspect examples/targets.yaml
mforensics inspect examples/targets.yaml --db data/model-forensics.sqlite --out reports/run-001
mforensics profile examples/reference.yaml --save-as trusted-model-v1 --db data/model-forensics.sqlite
mforensics runs list --db data/model-forensics.sqlite
mforensics runs show <run-id> --db data/model-forensics.sqlite
mforensics compare <run-id-a> <run-id-b> --db data/model-forensics.sqlite
mforensics refs list --db data/model-forensics.sqlite
mforensics refs show trusted-model-v1 --db data/model-forensics.sqlite
mforensics refs delete trusted-model-v1 --db data/model-forensics.sqlite

密钥

CLI 会从配置文件所在目录开始向上查找，并自动加载最近的 .env 文件。
.env.example。

.env 示例：

REFERENCE_API_KEY=replace-with-reference-api-key
SUSPECT_API_KEY=replace-with-suspect-api-key
OPENAI_API_KEY=replace-with-openai-api-key-for-embeddings

Target 配置

待检测模型配置示例：

name: suspect-check
targets:
  - name: suspect-openai
    provider: generic
    protocol: openai
    base_url: https://suspicious.example.com/v1
    claimed_model: gpt-4o
    api_key_env: SUSPECT_API_KEY

官方 reference 配置示例：

name: official-reference
targets:
  - name: trusted-openai
    provider: openai
    protocol: openai
    base_url: https://api.openai.com/v1
    claimed_model: gpt-4o
    api_key_env: OPENAI_API_KEY

致谢

特别感谢 Linux.do 社区的支持与帮助。

1 个帖子 - 1 位参与者

阅读完整话题

来源: linux.do查看原文