GPT与大语言模型 - 生成式AI核心

一、GPT架构

1.1 GPT vs BERT

GPT vs BERT:
架构: 解码器 vs 编码器
方向: 单向 vs 双向
任务: 生成 vs 理解

1.2 文本生成

from transformers import GPT2LMHeadModel, GPT2Tokenizer
model = GPT2LMHeadModel.from_pretrained('gpt2')
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
input_ids = tokenizer.encode('Hello', return_tensors='pt')
output = model.generate(input_ids, max_length=50)
print(tokenizer.decode(output[0]))

二、In-Context Learning

Few-Shot Learning示例…

三、文本生成策略

• Greedy Search
• Beam Search
• Top-K采样
• Top-P采样

---

最后更新: 2026年4月15日

访问 -- 赞 -- 踩 --

讨论与反馈