大模型浪潮：商业机遇、产业变革与未来趋势

他认为，人类思维是通过许多较小的、具有专门功能的智能体的相互作用而产生的，智能的本质就是在许多有着各异能力的智能体之间进行受管理的互动。

未来有两种类型的人工智能会非常受欢迎：数字人工智能工作者（智能体）和物理人工智能（机器人技术）

微调技术可以分为两类：全量参数微调和高效参数微调。全量参数微调，即对所有参数进行调整。高效参数微调，即将原参数全部冻结，增加网络结构和参数，微调仅更新新增参数部分（见图2-2）

一是“自我注意力”机制，只关心输入信息之间的关系，不再关注输入和对应输出的关系。这样既节省了之前需要的人工数据标注费用，也可以更准确地猜测哪些信息影响最大、最有关联、最应该被展示。二是摒弃了递归结构，可以同时处理序列中的所有元素，实现并行计算。这不仅是算法的提升，更可以充分挖掘GPU的优势，与算力结合更加紧密。[插图]

逐层预训练使神经网络变得可控、高效。