MARC状态：审校 文献类型：中文图书 浏览次数：76
- 题名/责任者:
- ChatGPT原理与架构:大模型的预训练、迁移和中间件编程/程戈著
- 出版发行项:
- 北京:机械工业出版社,2023
- ISBN及定价:
- 978-7-111-73956-2/CNY99.00
- 载体形态项:
- 210页:图;24cm
- 其它题名:
- 大模型的预训练、迁移和中间件编程
- 丛编项:
- 智能系统与技术丛书
- 个人责任者:
- 程戈 著
- 学科主题:
- 自然语言处理-软件工具-人工智能-应用
- 中图法分类号:
- TP18
- 中图法分类号:
- TP391
- 责任者附注:
- 程戈，博士生导师，湘潭大学计算机学院·网络空间安全学院教授，湘潭大学技术转移中心副主任，湘潭市京东智能城市与大数据研究院副院长。
- 提要文摘附注:
- 本书讲解ChatGPT及其相关技术。全书共11章，第1章深入分析了大语言模型的技术演化、技术栈等。第2章详细阐述了Transformer模型的理论基础和主要组件。第3章深入解析了GPT的生成式预训练的过程和原理。第4章主要探讨了GPT-2的层归一化、正交初始化和可逆的分词方法等技术，并详细分析了GPT-2的自回归生成过程。第5章介绍了GPT-3的稀疏注意力模式、元学习和基于内容的学习等技术，并对贝叶斯推断在概念分布中的应用进行了深入讨论。第6章详细介绍了大语言模型的预训练数据集和数据处理方法，同时阐述了分布式训练模式和技术路线。第7章深入解析了PPO算法的基本原理。第8章主要阐述了人类反馈强化学习的微调数据集以及PPO在InstructGPT中的应用。第9章深入探讨了大语言模型在低算力环境中的应用策略。第10章主要介绍了在大语言模型开发中涉及的中间件编程技术。第11章对大语言模型的发展趋势进行了预测和展望。
全部MARC细节信息>>
采编部