OpenAI API Chat

使用什么采樣 temperature，介于 0 和 2 之間。較高的值（如 0.8）將使輸出更加隨機(jī)，而較低的值（如 0.2）將使輸出更加集中和確定。

我們通常建議改變這個或 top_p 但不是兩者都改變??。

一種替代 temperature 采樣的方法，稱為核采樣，其中模型考慮具有 top_p 概率質(zhì)量的標(biāo)記的結(jié)果。所以 0.1 意味著只考慮構(gòu)成前 10% 概率質(zhì)量的標(biāo)記。

我們通常建議更改此值或 temperature，但不要同時更改兩者。

聊天完成時生成的最大令牌數(shù)。

輸入標(biāo)記和生成標(biāo)記的總長度受模型上下文長度的限制。

-2.0 和 2.0 之間的數(shù)字。正值會根據(jù)到目前為止是否出現(xiàn)在文本中來懲罰新標(biāo)記，從而增加模型談?wù)撔轮黝}的可能性。

-2.0 和 2.0 之間的數(shù)字。正值會根據(jù)新標(biāo)記在文本中的現(xiàn)有頻率對其進(jìn)行懲罰，從而降低模型逐字重復(fù)同一行的可能性。

修改指定標(biāo)記出現(xiàn)在完成中的可能性。

接受一個 json 對象，該對象將標(biāo)記（由標(biāo)記器中的標(biāo)記 ID 指定）映射到從 -100 到 100 的關(guān)聯(lián)偏差值。從數(shù)學(xué)上講，偏差會在采樣之前添加到模型生成的 logits 中。確切的效果因模型而異，但 -1 和 1 之間的值應(yīng)該會減少或增加選擇的可能性；像 -100 或 100 這樣的值應(yīng)該導(dǎo)致相關(guān)令牌的禁止或獨占選擇。

curl https://api.openai.com/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{
    "model": "gpt-3.5-turbo",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

import os
import openai
openai.api_key = os.getenv("OPENAI_API_KEY")

completion = openai.ChatCompletion.create(
  model="gpt-3.5-turbo",
  messages=[
    {"role": "user", "content": "Hello!"}
  ]
)

print(completion.choices[0].message)

const { Configuration, OpenAIApi } = require("openai");

const configuration = new Configuration({
  apiKey: process.env.OPENAI_API_KEY,
});
const openai = new OpenAIApi(configuration);

const completion = await openai.createChatCompletion({
  model: "gpt-3.5-turbo",
  messages: [{role: "user", content: "Hello world"}],
});
console.log(completion.data.choices[0].message);