文章来源：

来源：节选自 2024 年 Week04 业内通讯 

图片来源：由无界AI生成

在大语言模型领域，微调是改进模型的重要步骤。伴随开源模型数量日益增多，针对LLM的微调方法同样在推陈出新。

2024年初，Meta和纽约大学等机构的研究者提出了一项「自我奖励方法」，可以让大模型自己生成自己的微调数据。研究者对 Llama 2 70B 进行了三个迭代的微调，其生成的模型在 AlpacaEval 2.0 排行榜上优于 Claude 2、Gemini Pro 和 GPT-4 等现有大模型。

奖励模型能干什么？

大型语言模型通过以逐步思考链格式生成解决方案，解决需要复杂多步推理的任务。许多研究关注如何检测和减少幻觉对于提高推理能力。其中，通过训练奖励模型以区分期望的和不期望的输出则是一种有效的方法，奖励模型可以用于强化学习流程或通过拒绝采样进行搜索。如何有效地训练可靠的奖励模型至关重要。

OpenAI 提出了人类反馈强化学习 （RLHF） 的标准方法在 ChatGPT 发布时引起极大关注。该技术模型可以从人类偏好中学习奖励模型，再冻结奖励模型并结合强化学习训练 LLM。通过使用人类偏好数据调整大语言模型（LLM）可以提高预训练模型的指令跟踪性能。但 RLHF 存在依赖人类反馈的局限性。

在此背景下，Meta 提出的「自我奖励语言模型」（Self-Rewarding Language Models， SRLMs）是一种新型的语言模型，在训练过程中利用自身生成的反馈来自我提升。自我奖励语言模型不是被冻结，而是在 LLM 调整期间不断更新，避免了冻结奖励模型质量的瓶颈。

自我奖励模型的核心思路是什么？对比传统奖励模型有什么优势？自我奖励语言模型（SRLMs）的核心思想在于创建一个智能体，该智能体在训练期间集成了所需的全部能力，而非将任务分离为奖励模型和语言模型。这种方法允许通过多任务训练实现任务迁移，从而在预训练和后续训练中跟随指令并生成响应。

Meta 等提出的自我奖励模型具备双重角色：一方面，它遵循模型的指令来生成给定提示的响应；另一方面，它也能够根据示例生成和评估新的指令，进而将其添加到训练集中。该模型建立在假设之上，即利用基础的预训练语言模型和少量的人工注释数据，可以创建一个同时具备指令遵循和自指令创建能力的模型。

图：自我奖励语言模型的对齐方法含两个步骤，（i）自指令创建：新创建的提示用于从模型 Mt 生成候选响应，该模型还通过“LLM作为法官”提示预测自己的奖励。（ii）指令遵循训练：从生成的数据中选择偏好对，这些对用于通过DPO（确定性策略梯度）进行训练，从而产生模型 Mt+1。然后可以迭代整个程序，从而提高指令遵循和奖励建模能力。

这种自对齐能力使得模型能够使用人工智能反馈（AIF）进行迭代训练，提升自身组件的性能。自我奖励模型的一个关键特点是其自指令创建机制，它不仅生成候选响应，还自行评估这些响应的质量，充当自身的奖励模型，从而减少了对外部模型的依赖。这一过程通过“LLM-as-a-Judge”机制实现，即将响应评估任务转化为指令遵循任务，而模型自身创建的 AIF 偏好数据则被用作训练集。

在微调阶段，模型同时扮演“学习者”和“法官”的角色，通过上下文微调进一步提升性能。整个过程是一个迭代的自对齐过程，通过构建一系列逐渐改进的模型来实现。

与传统的固定奖励模型不同，自我奖励模型在语言模型对齐过程中不断更新，从而避免了发展瓶颈，并提高了模型自我改进的潜力。相较于传统奖励模型，自我奖励模型的优势在于其动态性和自我迭代的能力。它通过整合奖励模型到同一系统中，实现了任务迁移，允许奖励建模任务和指令遵循任务相互促进和提升。

自我奖励模型和 RLAIF 有关联吗？
RLAIF（Reinforcement Learning from AI Feedback）与自我奖励模型在思路上存在明显差异。RLAIF 采用了 AI 反馈强化学习的方法，使用 AI 而非人类来进行偏好标注，以此扩展强化学习的规模。具体来说，RLAIF 利用 LLM 生成的偏好标签来训练奖励模型（RM），随后使用该 RM 提供奖励以进行强化学习。

Anthropic 在 2022 年 12 月发布的论文《Constitutional AI: Harmlessness from AI Feedback》中首次提出了 RLAIF 的概念，并发现 LLM 在某些任务上的表现甚至可以超越人类。而在 2023 年 9 月，谷歌发表的论文《RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback》进一步推动了 RLAIF 方法的发展。

RLAIF 的关键步骤之一是使用 LLM 来标记偏好。研究者利用现成的 LLM 在成对的候选项中标记偏好，例如，给定一段文本和两个候选摘要，LLM 的任务是评判哪个摘要更为优秀。这种方法不仅提高了训练效率，还解决了传统 RLHF（Reinforcement Learning from Human Feedback）中因人类标注成本高昂和规模受限的问题。

RLAIF 通过 AI 反馈来增强强化学习的能力，使得模型能够处理更大规模的数据集，同时降低了对人类标注的依赖。这种方法为训练更高效、更大规模的语言模型提供了新的可能性，并有助于推动自然语言处理领域的进一步发展。

使用 AI 合成数据训模型有风险吗？最近还有谁正在做AI自我迭代？小模型监督大模型的方法好用吗？

目前，模型训练大部分的数据来自于互联网，如 Twitter、GitHub、Arxiv、Wikipedia、Reddit 等网站。随着模型的规模继续增大，人们需要投喂更多的数据来训练模型。在使用模型生成的数据来训练新模型时，会产生「哈布斯堡诅咒」或称「模型自噬」现象……

文章来源：硅星人Pro

作者｜萧柏万

图片来源：由无界AI生成

高端芯片从未像现在一样，在汽车行业扮演如此重要的角色。
我不是指曾经恩智浦、德州仪器等公司在汽车芯片市场上的辉煌，而是那些更懂时代的公司——凭借智能手机的红利，高通迅速成为了智能汽车头部供应商，8155 等词汇一度被认为是汽车智能化的标签。
然而行业变革不会是独角戏。
老对手，新故事。联发科，这个在智能手机行业与高通缠斗在一起的公司，在新能源汽车的下半场开门的那一刻，把竞争拉到了全新的维度。

算力定义未来

4 月，我国新能源汽车渗透率超过 50%，新能源汽车下半场提前上演。预言了这一天的比亚迪董事长王传福在北京车展上，又抛出了一个颇具时代印记的观点：上半场看电池，下半场看芯片。
传统汽车以 MCU 芯片为主，用于控制汽车中的各种电气设备，驱动的功能相对单一。一般而言，在燃油车上播放蓝牙音乐，听个收音机，就已经基本是车载娱乐系统的上限了。
车载芯片这个事儿，主打一个够用就行。
到了今天，理想的三联屏，小鹏的智能辅助驾驶，蔚来 NOMI GPT 大模型……汽车智能化的进程俨然就是智能机替代功能机情形的再现，这背后也是芯片话语权更替的关键。
智能汽车越来越多的屏幕，越来越高级的功能、越来越复杂的运算过程，无不是建立在高性能芯片基础上。
算力，成了当下智能汽车芯片躲不开的议题。高通、联发科，这些原本就熟悉移动端高性能芯片玩法的公司，拥有天然的算力、技术、方便开发等特性上优势，趁着老一批汽车芯片巨头还没缓过劲儿来，迅速在智能汽车领域攻城掠地。
如果说 16nm 是传统汽车芯片的上限，那么联发科的 3nm 制程工艺芯片，则是给智能汽车时代的竞争设定了全新的锚点。
近日，联发科一口气发布了三款天玑汽车座舱平台，分别是全球首款 3nm 旗舰汽车芯片 CT-X1，4nm 次旗舰汽车芯片 CT-Y1 和 CT-Y0，三款产品均支持当下最火的端侧生成式 AI 技术。CT-X1 和 CT-Y1/ CT-Y0 已分别得到了国内 6 家头部车企定点，我们期待马上能看到样车。

即便是大家所熟悉的高通骁龙 8295 旗舰芯片，其制程工艺也只是 5nm。尽管联发科未公布三款芯片具体算力，但安兔兔已曝光其 4nm 次旗舰芯片CT-Y1的车机跑分，107 万分的水平与高通 8295 旗舰芯片持平。
由此来看，3nm 制程工艺的 CT-X1 只会比这个水平更强，据称其性能超越8295至少30%，这是一个极其恐怖的事情：在这种环境下，但凡一家公司对先进制程工艺掉以轻心，就极有可能跟不上时代。
正如联发科技资深副总经理、运算联通元宇宙事业群总经理游人杰所说：“无论是座舱还是智驾，都对算力提出了极高的需求，算力背后是先进制程，拥有先进制程能力的芯片设计公司，才能在未来 AI 定义的智能汽车领域立足。”

联发科技 资深副总经理、运算联通元宇宙事业群总经理 游人杰算力过剩？不存在的。
从摩尔定律可以推断，算力总会被应用吞噬，因此我们总会需要更强的算力。这个逻辑在智能汽车高速发展阶段，仍然成立。
在这个算力定义未来的时代。谁掌握了更强算力，谁就掌握了行业的话语权。

AI 定义座舱

AI 曾被智能手机行业认为是伪需求，但随着 ChatGPT、Midjourney 和 kimi 等 AIGC 产品大爆发，再也没人能忽略这一波来势汹汹的 AI 浪潮。
智能汽车以极快的速度拥抱了 AIGC 大模型，甚至仅比智能手机慢了一步——二者所实现的功能不尽相同，运行逻辑却几近相通。
智能座舱，即通过用户的语音指令，并完成一系列接收信息、舒适性和影音体验等方面的需求。AI 的加入，让人机交互的层次更加丰富，车机不仅可以通过用户的语音指令完成功能，还能识别手势、动作和情绪等等。
这些复杂的交互流程，得有一个大模型才跑得通。
当前主流 AIGC 产品，往往采用云端大模型来保证足够的算力。然而对于终端消费品来说，云端大模型受制于隐私安全、延迟、稳定性、成本等问题，端侧大模型的加入，端云结合的方式是一个更加可行的发力方向。
这恰巧进入了联发科的优势领域：让大模型在终端侧跑起来。讲人话，就是在本地运行，不依赖于云端。而这件事情早在智能手机上就已经干过了，而且还干得不错。
因此在天玑汽车座舱平台上，我们可以看到 CT-X1 支持端侧运行 130 亿参数的 AI 大语言模型， CT-Y1和CT-Y0则支持 端侧70 亿参数的 AI 大语言模型。
且均可在车内运行全球多种主流的大语言模型（LLMs）和 AI 绘图功能（Stable Diffusion），支持基于 3D 图形界面的车载语音助手、驾驶警觉性监测等先进的 AI 安全和娱乐应用。

如果说算力是联发科给智能汽车打下的地基，那么以 AI 运算单元 APU 为首的 生成式AI “特技”，则是联发科的独门法宝。
例如在内存带宽问题上，联发科利用内存硬件压缩技术，可降低大模型在端侧设备上的内存占用量，为系统和其他应用的运行留足内存和带宽以实现设备的高速运行。又如天玑座舱芯片拥有高集成度，将 ISP、DSP 和 Wi-Fi、蓝牙 等 19 个模块合为一体，不但能帮助车企控制成本，还能大大降低开发难度，可缩短 50% 以上的开发周期，加速产品上市进程。联发科将其在移动市场上的产品、技术、服务优势转移到汽车业务上，能帮助合作伙伴更快速地让AI大模型上车。

联发科技副总经理、车用平台事业部总经理张豫台认为，“未来生成式 AI 的体验应该是有端侧，也有云+端”，人机交互更适合在端侧进行，跑到云上的话会有延迟性，但对于非即时性的需求，端云一体也可以协作，带来更强的需求处理能力。
生成式 AI 发展的方向，也顺带为智能座舱下了定义。
解决了端侧大模型的运行，也就天然拥有了安全性、高响应速度和低延迟等特性，智能座舱的想象空间得以进一步变大：车机系统会理解你出行的意图，并为你推荐沿途的补能点和餐馆；它甚至能感知驾驶者与乘客的状态，提供一套适合的氛围灯和音乐……
智能座舱，这个用户与车机发生交互的第一现场，正在被 AI 大模型编织出全新的应用场景。

联发科的底气

138 年前，卡尔·弗里德里希·本茨发明的三轮汽车被视为世界上第一辆汽车。但直到 27 年后福特发明出流水线，生产的降本增效才使得汽车走进千家万户。
汽车工业史上的每一次变革，都不缺一个敢为人先的角色。
高通和联发科一直都是移动芯片市场的两个核心玩家，各自有着鲜明的特点。高通先发制人，占据用户心智，联发科则卧薪尝胆，用“天玑”在5G时代一鸣惊人，据Counterpoint数据显示，联发科如今已连续超过3年获得全球市场占有率第一。尽管高通更为人知晓，但近两年挤牙膏式的产品更新一直为人诟病。在默默耕耘座舱芯片十余年，全球出货量超过 2000 万套之后，联发科又将竞争拉到了更高的维度。
更先进的制程工艺，更高的算力以及更可行的端侧 AI 大模型方案，联发科似乎正在成为那个推动时代发展的角色。
“舱驾一体”被公认为行业的未来趋势，在智能驾驶方面，联发科找来了同样是顶级玩家的英伟达“联姻”。
双方合作的决心与效率，在业内也属第一次。去年 5 月，联发科正式公布与英伟达的战略合作，基于各自优势，共同为新一代智能汽车提供解决方案。到今年 3 月，联发科与英伟达合作的四款座舱 SoC 已经发布了：C-X1、C-Y1、C-M1 和 C-V1，均支持 NVIDIA DRIVE OS 软件。

如果说新能源汽车的下半场，就是看芯片，那么联发科与英伟达这两个芯片巨头的强强联合，在 AI 定义座舱的时代下，显得更具有里程碑的意义。彼此长处得以有更大的空间爆发，而合作所辐射出来的能量，在未来不可估量。
接下来的十年被行业认为是 AI 2.0 最重要的时期，是瞬息万变的时期，也是半导体行业挥斥方遒的时期。
站在行业前沿，你必须拥有一个敏锐的观察力，预判走向，抓住行业趋势，才能保证自身在行业里的竞争力。而这也是面向消费者，半导体公司引领智能汽车下一次变革的关键。