【PBD-236】徹底凌辱・レイプ大全集 16時間 第2集

编译 | 陈骏达

编著 | Panken

智东西8月21日音问，今天，微软持续甩出3款超强轻量级模子！

微软本次发布的轻量级模子系列名为Phi-3.5，稳健在内存和算力受限的环境中驱动，均相沿128k陡立文长度。Phi-3.5-mini-instruct主要面向基础快速推理任务，Phi-3.5-MoE-instruct可胜任复杂推理任务，Phi-3.5-vision-instruct则兼具文本与视觉智力。

性能最刚劲的Phi-3.5-MoE-instruct模子有419亿个参数，在5个示例的MMLU测试中打败了GPT-4o mini。这是微软初次使用羼杂民众模子架构。

这一模子系列中最小的Phi-3.5-mini-instruct在长陡立文代码理罢职务以显着上风打败Llama-3.1-8B-instruct和Mistral-7B-instruct，而其参数限度还不到Llama-3.1-8B-instruct的一半。

微软本次发布的3款模子的名字中齐带有“instruct”，这意味着模子专诚针对遵命用户教导进行了优化，这对端侧模子来说是项极为伏击的妙技。

微软在开源模子库Hugging Face上缜密公布了这3款模子的真金不怕火制历程，包括数据开始、数据限度、算力等等。3款模子均在MIT公约下开源，开发者不错解放使用、修改或出售软件副本。

技俩地址：https://huggingface.co/microsoft/Phi-3.5-mini-instruct

一、连发三款轻量级模子，打败GPT-4o mini与Llama 3.1-8B

微软今天发布的3个Phi-3.5模子包括用于基础快速推理的Phi-3.5-mini-instruct（38.2亿个参数）、性能更为刚劲的Phi-3.5-MoE-instruct（419亿个参数）和视觉模子Phi-3.5-vision-instruct（41.5亿个参数）。

1、Phi-3.5-mini-instruct：A16芯片土产货可跑

Phi-3.5-mini-instruct专为顺从教导而筹谋，此模子相配稳健在内存或算力受限的环境中提供刚劲推忠良力，现代激情能胜任代码生成、数常识题和基于逻辑的推理等任务。

尽管参数限度仅有38.2亿，但Phi-3.5-mini-instruct模子在多谈话和多轮对话任务中推崇出的性能不俗。它在很多基准测试中领有较为先进的水平，并在长陡立文代码理罢职务中以显着上风朝上了其它模子（Llama-3.1-8B-instruct和Mistral-7B-instruct）。

▲Phi-3.5-mini-instruct在长陡立文代码理罢职务中上风显着（图源：微软）

微软并未奏凯讲演Phi-3.5-mini-instruct能否在手机上驱动，但与其参数限度的基本一致的Phi-3-mini在经过4位量化后，能在搭载A16仿生芯片的iPhone上运动驱动，生成速率朝上每秒12个token。

2、Phi-3.5-MoE-instruct：微软首个民众羼杂模子

Phi-3.5-MoE-instruct是微软首个民众羼杂模子。这类模子将多种功能不同的模子组合起来，每种模子专注于特定的任务。

这款模子独揽了具有419亿个激活参数的架构，熟女论坛但证明微软在Hugging Face上公布的文档，这一模子仅需66亿激活参数即可驱动。

Phi-3.5-MoE-instruct在各式推理任务中推崇出色，在代码、数学和多谈话谈话雄厚方面具有刚劲的性能，朝上了参数限度更大的其它开源模子。

▲Phi-3.5-MoE-instruct对Python、Java等编程谈话的掌持显赫好于其它同类模子（图源：微软）

这一模子还在5个示例的MMLU测试中打败了GPT-4o mini。这一基准测试涵盖了科技、工程、数学、东谈主文、社科界限的问题。

▲Phi-3.5-MoE-instruct在5个示例的MMLU测试中以幽微上风打败GPT-4o mini（图源：微软）

MoE模子的独有架构还能使Phi-3.5-MoE-instruct在处理多种谈话的复杂AI任务时保持着力。这一模子相沿包括汉文在内的23门谈话。

3、Phi-3.5-vision-instruct：适用于OCR、图表雄厚与视频摘记

Phi-3.5-vision-instruct兼具文本和图像处理功能。能在算力和内存不及的情况下提供较好的一般图像雄厚智力、光学字符识别（OCR）、图表和表格雄厚、多图像比拟和多图像或视频裁剪摘记等智力。

这一模子能贬责复杂的多帧视觉任务。微软强调，该模子是使用合成和过滤的公开可用数据集的组合进行测验的，专注于高质料、推理密集的数据。

二、测验时分最短不到1周，模子一谈开源提供

微软还在Hugging Face上公布了这组轻量级模子具体的测验情况。Phi-3.5-mini-instruct模子用掉了3.4万亿个token的数据，测验算力来自512个英伟达H100-80G GPU，测验耗时10天。

▲Phi-3.5-mini-instruct的Hugging Face页面（图源：Hugging Face）

Phi-3.5-vision-instruct模子测验耗时更短，仅为6天。其数据量为5000亿个token，测验历程中使用了256个英伟达A100-80G GPU。

Phi-3.5-MoE-instruct的参数限度较大，因此测验时长为23天。这款模子使用的测验算力与Phi-3.5-mini-instruct一致，但数据量为4.9万亿个token。

3款Phi-3.5模子齐在MIT许可下开源，这适合微软之前对开源社区的本旨。MIT许可证允许开发东谈主员解放使用、修改、归并、发布、分发、再许可或出售软件的副本。

该许可证还包括一项免责声明，即软件按“原样”提供，不提供任何体式的保证。微软和其他版权统共者不合因使用软件而可能产生的任何索赔、挫伤或其他牵累厚爱。

结语：微软轻量级模子再出后果，端侧AI后劲突显

微软的Phi系列模子一直以轻量级为秉性。本年4月底，微软发布了Phi-3系列模子，其智力水平纯粹与GPT-3.5终点，但驱动的老本却远远低于GPT-3.5。只是4个月后，微软又将其轻量级模子的推崇擢升了一个线索。

开发算力条件较低的端侧模子【PBD-236】徹底凌辱・レイプ大全集 16時間 第2集，约略能让微软的AI PC和其它使用Windows系统的开拓领有土产货化驱动、低延时、高安全性的AI体验。苹果的Apple Intelligence背后也有一系列端侧模子，这闪现出即便在模子尺寸越作念越大、智力越来越强的现时，兼具性能与老本效益的端侧模子也有强大后劲。