用 GPT-4、Claude 等 LLM 为 Eugene Yan 写传记的实测对比

Eugene Yan 让 gpt-4、gpt-3.5-turbo-0301、claude-v1.2、cohere-xlarge 等 LLM 根据训练数据为他写传记，以观察各模型学到了什么。gpt3.5/4 整体表现最好，主旨正确但细节多有事实错误，且部分模型比其他模型更多地背诵和复述训练数据。这些模型无法联网，输出完全基于训练数据。