文本分词

POST /v1/tokenize

用所选模型自己的分词器对文本分词。本地 worker 接收 content；远程供应方可能有不同的分词契约，网关原样转发。Token ID 随模型不同，不要写死。

请求体

application/json必填

modelstring必填用哪个模型的分词器。同一段文本在不同模型上得到的 token ID 不同。

contentstring必填要分词的文本。

200Token ID。示例数组只作说明；只返回数组时按长度计数。

tokensinteger[]

{
  "tokens": [
    9707,
    1879,
    13
  ]
}

400请求不合法。先改请求再重试：error.code 用于程序判断，error.param 用于定位是哪个输入。

401API Key 缺失或无效。

403Host 或 Origin 不被允许，或 License 被拒。按 error.code 区分这两种情况。

413请求体超过 512 MiB。

503所需的本地模型仍在准备（model_downloading），或服务正忙（service_busy）。带 Retry-After 时按它退避。