SECURE LLM PLATFORM
本地私有化 LLM 应用平台
源代码与会议录音都不出公司。一台服务器即可起步，搭建与运维都由我们负责。
把推理平台、检索平台与使用界面部署在同一台机器上，运行于客户的隔离网络内。支持本地私有化和客户自有的私有云，不以 GPU 集群为前提。
实现测试用例生成、代码评审、代码补全、内部文档问答、会议纪要与日英中翻译，并提供相应的使用界面。
无法直接使用云端 AI 服务的现场
制定了生成 AI 应用方针的企业约占七成（令和8年版 情報通信白書），但真正能用于业务的企业只有 34.5%（帝国データバンク，2026 年 5 月，约 1 万家）。数据、费用、规程与经验共同制约业务应用，具体如下。
安全策略不允许把源代码、设计文档与会议录音发送给外部的 AI 服务。也有客户合同明文规定开发数据不得出境的情形 —— 能否使用不由技术决定，而由条款决定。
按量计费时，用量越大，累计费用越高。AI 的使用越是常态化，年度预算越难预估，出现“因为有效果所以费用增加”的情况。长时间会议记录这类输入量大的用途，受这一影响最为明显。
受法规与内部规程限制，生成 AI 仍停留在个人试用或有限验证阶段。业务应用前景不明，也使内部迟迟无法形成共识。
公司内部缺少导入经验与相关人才，也缺少判断配置能否满足实际工作需要的依据。配置是否过大或过小，需要实际运行后才能判断。
推进方式与开始所需的时间
自需求访谈至运维支持共 6 道工序 —— 在真机上反复实测，直到确定满足要求的配置，才进入正式运行。
上面 6 道工序都由我们承接，专业工程师的调配与 GPU 的采购也在其内。
先用小型配置做 PoC，把对象业务限定在 1〜2 项。用真实数据测出回答品质与处理时间后，再正式导入，因此不必在一开始就确定全部前期投资。
不以 GPU 集群为前提的配置方式
用途只限于“开发支持”与“内部知识与会议”这两个领域，并且推理平台只保留一个。已落地的 3 套（含银行 2 套）全部仍以一台服务器（一台终端）的配置运行。
使用界面、应用与联动层、检索层和推理平台均部署在一台机器上。代码评审、测试生成、内部文档检索、纪要与翻译这 4 个用途共用推理平台，增加用途时无需增加模型。
检索精度不足时，可只替换检索层。可从小型配置起步，再随使用人数与用途增加扩展配置。除本地私有化部署外，也支持客户自有的私有云。
针对代码生成、代码评审、文档检索、语音识别等用途，分别把候选模型放到真机上比较一轮，实测响应、并发数与输出品质。通用模型与代码专用模型并用的配置也会一并考虑。
未能满足要求的配置，会在开始运行之前调整并重新实测。既不过大也不过小的配置，不经实测无法确定。
我们按数据保密级别划分处理范围：需要留在隔离网络内的部分在内部处理，允许外发的部分可交给外部云模型。
选择外部云模型时，我们会考察性能与费用，并依据条款确认数据所在地（是否有境内区域）及数据是否用于训练。确认后再协助选型。
适用的业务
最为擅长的是“软件开发支持”与“内部知识与会议”这两个领域。处理越定型、机密性越高、效果越容易衡量的业务，越适合放在隔离网络内；现有的云端使用无需停止。把设计文档、测试用例与代码的评审整批跑完，也是本平台上的用途之一 —— 我们另有一页介绍“HyApex ／ 本地 LLM 评审支持”。
检索层是向量数据库与嵌入模型，使用界面覆盖对话、文档检索、IDE 联动与会议转写。5〜10 人的开发团队，参考配置为 GPU 2 张、内存 128GB 的 Linux 服务器 1 台。
费用由三部分决定：①硬件（这是前期投资，并非目的） ②模型与软件（以开源为主，可以替换） ③导入与运维支持（我们承接的范围）。日常开销以定额为主，不与使用量成正比。文档再长、会议再久，也不会产生额外计费。
金额随配置与规模变化，因此我们不提供通用价目表。告知我们并发人数、需处理的文档量与响应时间要求，我们会连同所需配置、该配置下的实测值与参考报价一并提供。
要求水准较高的生成，以及需跨越长上下文的推理，不及云端的顶级模型。仅凭开通账号即可在第一天用上顶级模型的便利，也在云端一侧。不相契合的用途我们不会收进隔离网络，而是按两者并用提出方案。
判断依据是数据所在地、费用结构与自主性这三点，而非性能。我们在导入时逐一确认开放模型的许可证，可以书面提供能否商用及相应条件。即使某个模型停止提供，也能替换为 Gemma、Qwen 等其他开放模型继续使用。
响应时间与并发人数随配置及使用状况变化，因此不作为通用数值公开。告知我们预计的使用人数与用途后，我们会提供相应条件下的实测值。我们负责硬件采购、搭建与运维，客户需要准备安装场所与内网接入。模型按验证当时的结果选用最合适的一款，不锁定某个型号。
按规模划分的配置，与运行中的 3 套
银行 2 套、开发团队 1 套，共 3 套在运行；全部不具备云端连接，推理与数据保存都在客户自有的机器内完成。同一张图上还标出了这 3 套前后各档规模所需要的配置。
运行中的 3 套 —— 配置与用途
| 案例与用途 | 难度 | 硬件 | 模型 |
|---|---|---|---|
| M 公司银行 开发团队 —— 社内文档检索QA、测试用例生成 | 测试用例生成 中 检索QA 中 | Threadripper PRO 7975WX ／ RTX 6000 Ada 48GB ×2（工作站 1 台） | Qwen3.6-35B-A3B、Qwen3-Coder-30B、BGE-M3（向量化） |
| M 公司银行 机密会议 —— 会议记录自动生成、中日英实时翻译 | 翻译 低 会议记录 中 | Apple M3 Ultra（统一内存 512GB、80 核 GPU）1 台 | Qwen3.5-35B-A3B（会议记录）、Qwen3.5-9B（翻译）、Whisper-V3（语音识别） |
| T 公司 开发团队 —— 代码评审、代码补全、设计文档分析 | 设计文档分析 中 评审与补全 中高 | Ryzen 9 9900X ／ RTX 5090 32GB（同一配置 2 台） | Qwen3.6-27B |
配置截至 2026 年 8 月。3 套均无云端连接（Ubuntu、Docker、vLLM，仅机密会议为 macOS）。RTX 6000 Ada 与 Apple 512GB 配置已停售。难度按下图的 TCI 排序。
各档规模的配置 —— 自己买，与在云上租
价格按 2026 年 9 月公开单价算出，运行中 3 套的配置截至 2026 年 8 月，“与……相当”取自 llm-stats.com 2026 年 9 月的公开值。横轴为并发人数，纵轴为参数量（连续刻度）。带黑色标签的 3 处为运行中 —— 一个模型一个点，第二行是所跑工作的难度（按下图的 TCI 概括为低、中、高）；其余为按公开单价算出的参考配置。
价格取価格.com 最低价（2026 年 9 月 15 日实测 —— RTX PRO 2000 16GB 176,500 日元、RTX 5090 32GB 948,800 日元、RTX PRO 6000 96GB 2,498,000 日元）。不含搭建费、运维费与存储，张数按所需显存与人数估算。“与……相当”取自 llm-stats.com 的公开值，并非我们的实测 —— 最下一档 Qwen3.5-9B 为 24.7、Qwen3.5-4B 为 19.5、Claude Haiku 4.5 为 25.7（2026 年 9 月 18 日复核）。
价格按 AWS 东京区域的按需公开单价算出（截至 2026 年 9 月，不含长期折扣）。坐标轴、档位与列都与“自己买”一致。租来的是 EC2 的机器，推理平台由我们部署 —— 推理并没有交给外部的 LLM 厂商。
g6.xlarge（L4 24GB）每小时 1.1672 美元、g6e.12xlarge（L40S 48GB ×4）15.2174 美元、p5en.48xlarge（H200 141GB ×8）79.12 美元，按每月 730 小时、1 美元 155 日元折算（2026 年 9 月 16 日取得）。不含存储、流量与运维，这不是我们的报价。g4dn.xlarge（T4 16GB）因不支持 bf16 未采用。
每项工作最低需要哪一档模型
按工作逐张列出所需的模型档位与最小配置，按难度从低到高排列（顶端色带的颜色即档位）。难度＝TCI（我们设定的 6 项指标加权和，0〜100；指标与档位见「!」）。 指标与权重（各 1〜5 分，TCI＝权重×(分−1)/4 之和） I 输入广度 15% —— 要读多少信息、多少文件，上下文跨度多大R 推理深度 20% —— 需要多少层推理、归因与判断C 代码与专业规则 20% —— 是否要求真正理解代码或专业规则A 连续操作 20% —— 是否需要连续操作工具或执行环境U 模糊度 10% —— 输入是否模糊、存在多种解释V 验证成本 15% —— AI 做错之后是否容易被人发现 模型档位（TCI 范围） L1 〜20：Qwen3.5-4B —— 基础语言任务L2 21〜40：Qwen3.5-9B —— 较复杂文字、长文任务L3 41〜60：Gemma-4-12B —— 推理＋代码L4 61〜80：Gemma-4-26B-A4B —— 更复杂的推理与代码，MoE 注重效率L5 81〜100：Qwen3.8-27B —— 仓库级代码、Agent、终端 难度用语（与档位同一分界） 低 〜20、中低 21〜40、中 41〜60、中高 61〜80、高 81〜100
TCI 是我们的评估值，不是公开榜的分数。显存按 4bit 权重（每 10 亿参数 0.62GB）加 32K 上下文 2GB 估算。显卡取価格.com 最低价（2026 年 9 月 18 日 —— RTX 5050 8GB 49,980 日元、RTX 5060 Ti 16GB 99,980 日元、RTX PRO 4000 24GB 469,800 日元），不含并发余量。实绩比算出的档位大，是因为留了并发余量、一个模型兼多项工作、运行时留有裕度。
同样的 7 张卡片，换成在 AWS 东京区域租用的情况。能租到的最小 GPU 是 L4 24GB，L1〜L5 都装得下，所以 7 张都是每月约 13.2 万日元 —— 差别只在追平购买价的月数。租来的是 EC2 的机器，推理并没有交给外部。 指标与权重（各 1〜5 分，TCI＝权重×(分−1)/4 之和） I 输入广度 15% —— 要读多少信息、多少文件，上下文跨度多大R 推理深度 20% —— 需要多少层推理、归因与判断C 代码与专业规则 20% —— 是否要求真正理解代码或专业规则A 连续操作 20% —— 是否需要连续操作工具或执行环境U 模糊度 10% —— 输入是否模糊、存在多种解释V 验证成本 15% —— AI 做错之后是否容易被人发现 模型档位（TCI 范围） L1 〜20：Qwen3.5-4B —— 基础语言任务L2 21〜40：Qwen3.5-9B —— 较复杂文字、长文任务L3 41〜60：Gemma-4-12B —— 推理＋代码L4 61〜80：Gemma-4-26B-A4B —— 更复杂的推理与代码，MoE 注重效率L5 81〜100：Qwen3.8-27B —— 仓库级代码、Agent、终端 难度用语（与档位同一分界） 低 〜20、中低 21〜40、中 41〜60、中高 61〜80、高 81〜100
g6.xlarge（L4 24GB ×1）每小时 1.1672 美元，按每月 730 小时、1 美元 155 日元折算为每月 132,089 日元（2026 年 9 月 16 日取得）。回本月数＝自购价格 ÷ 月额。不含长期折扣、存储、流量与运维，这不是我们的报价。
这套配置能够确保的事
NEXT
咨询请联络相关负责人。
只要指定一个对象，我们就会展示对应的成果物及验证报告。
可以直接查看实际系统的输出，判断这套方式是否有效。
只需告知选定哪一个对象，即可开始。