LLM 原理:從數學直覺到 Python 實作：拆解大型語言模型如何「產生答案」

from transformers import AutoTokenizer

# 指定模型 ID（Tokenizer 會跟著模型走，因為不同模型的切分規則可能不同）
model_id = "meta-llama/Llama-3.2-3B-Instruct"

# 載入 Tokenizer（等同拿到「菜單＋編號對照表」）
tokenizer = AutoTokenizer.from_pretrained(model_id)

text = "你好，台灣"

# 方式 A：encode / decode（最直觀，適合觀察）
# add_special_tokens=False：不自動加上 BOS/EOS 等特殊 token，方便純觀察「文字被切成什麼」
input_ids = tokenizer.encode(text, add_special_tokens=False)

print("原始文字:", text)
print("轉譯 ID:", input_ids)

# decode：把 IDs 轉回文字
# skip_special_tokens=True：若有特殊 token，會在 decode 時略過，避免輸出怪符號
decoded_text = tokenizer.decode(input_ids, skip_special_tokens=True)
print("還原文字:", decoded_text)

# 方式 B：更常見的寫法（回傳 tensor + attention_mask）
# attention_mask：告訴模型「哪些位置是有效內容（1）/ 哪些是 padding（0）」
batch = tokenizer(text, return_tensors="pt", add_special_tokens=False)
print(batch.keys())  # dict_keys(['input_ids', 'attention_mask'])
print("input_ids shape:", batch["input_ids"].shape)
print("attention_mask shape:", batch["attention_mask"].shape)

import torch
from transformers import AutoModelForCausalLM

model_id = "meta-llama/Llama-3.2-3B-Instruct"

# 載入模型（這就是那個「打分數的評審團」）
model = AutoModelForCausalLM.from_pretrained(model_id)
model.eval()  # 推論模式：關閉 dropout 等訓練時才需要的行為

text = "台灣最高的山是"

# tokenizer(...) 會回傳 input_ids + attention_mask
inputs = tokenizer(text, return_tensors="pt")

# 不做梯度計算，省記憶體也更快
with torch.no_grad():
    outputs = model(**inputs)

# outputs.logits shape = [batch_size, seq_len, vocab_size]
# - batch_size：一次餵幾筆資料（這裡 1）
# - seq_len：輸入字串被切成多少個 token
# - vocab_size：詞表大小（候選 token 的總數）
logits = outputs.logits
print("logits shape:", logits.shape)

# 我們想看「下一個 token」的分數，所以取最後一個位置（-1）
# next_token_logits shape = [vocab_size]
next_token_logits = logits[0, -1, :]

print("vocab_size:", next_token_logits.shape[0])

# argmax：分數最高的候選 token_id（相當於「第一名」）
top1_id = torch.argmax(next_token_logits).item()
print("最高分 token_id:", top1_id)
print("最高分 token（解碼後）:", tokenizer.decode([top1_id], skip_special_tokens=True))

import torch

# 把 logits 轉成機率分佈
probs = torch.softmax(next_token_logits, dim=-1)

# 取出機率最高的前 5 名
top5_probs, top5_ids = torch.topk(probs, 5)

print("--- 下一 token 機率 Top 5 ---")
for p, idx in zip(top5_probs, top5_ids):
    token_str = tokenizer.decode([idx.item()], skip_special_tokens=True)
    print(f"token: {token_str!r} | p={p.item():.4f}")

import torch

temperature = 0.7  # 越小越保守，越大越隨機

# 1) 溫度縮放：把 logits 除以 temperature，再做 softmax
# - temperature < 1：讓高分更突出（更「冷靜」）
# - temperature > 1：讓分佈更平均（更「放飛」）
scaled_logits = next_token_logits / temperature
scaled_probs = torch.softmax(scaled_logits, dim=-1)

# 2) 只保留 top-k 的候選（避免抽到太怪的 token）
top_k = 50
topk_probs, topk_ids = torch.topk(scaled_probs, top_k)

# 3) 重新正規化（因為只剩 top-k，總和不一定是 1）
topk_probs = topk_probs / topk_probs.sum()

# 4) multinomial：按照機率抽樣（真正的「擲骰子」）
# 官方文件：https://docs.pytorch.org/docs/stable/generated/torch.multinomial.html
sampled_index = torch.multinomial(topk_probs, num_samples=1).item()
sampled_token_id = topk_ids[sampled_index].item()

print("抽到的 token:", tokenizer.decode([sampled_token_id], skip_special_tokens=True))

generation_kwargs = dict(
    max_new_tokens=50,   # 最多生成 50 個新 token
    do_sample=True,      # 開啟 sampling（否則 temperature/top_k/top_p 多半不生效）
    temperature=0.7,     # 溫度：控制隨機程度
    top_k=50,            # 只在前 50 名候選中抽
    # top_p=0.9,         # 也可以改用 top-p（nucleus sampling）
)

output_ids = model.generate(**inputs, **generation_kwargs)
print(tokenizer.decode(output_ids[0], skip_special_tokens=True))

import torch

messages = [
    {"role": "user", "content": "台灣最高的山是哪一座？"},
    {"role": "assistant", "content": "玉山。"},
    {"role": "user", "content": "那第二高呢？"},
]

# apply_chat_template：把 messages 轉成模型所需的格式（包含角色、控制符號等）
# add_generation_prompt=True：在尾端加上「輪到 assistant 回答」的提示，讓模型接著生成
formatted = tokenizer.apply_chat_template(
    messages,
    tokenize=True,             # 直接回傳可餵給模型的 token
    return_dict=True,          # 回傳 dict（含 input_ids / attention_mask）
    add_generation_prompt=True
)

with torch.no_grad():
    out = model.generate(**formatted, max_new_tokens=50)

print(tokenizer.decode(out[0], skip_special_tokens=True))

import torch
from transformers import pipeline

model_id = "meta-llama/Llama-3.2-3B-Instruct"

# 建立 text-generation pipeline
# device_map="auto"：若環境有 GPU，通常會自動用上（依實際裝置與權限而定）
# torch_dtype：減少記憶體占用，常用 float16/bfloat16（依硬體支援）
pipe = pipeline(
    "text-generation",
    model=model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {"role": "system", "content": "你是一個講解清楚、重視事實的助教。"},
    {"role": "user", "content": "台灣最高的山是哪一座？"},
]

# Pipeline 會：套 chat template → tokenize → generate → decode
outputs = pipe(messages, max_new_tokens=80)

# generated_text 通常是一段含對話結構的結果；不同版本回傳格式可能略有差異
print(outputs[0]["generated_text"][-1])