爆火神经网罗架构KAN【SSR-026】淫猥秘書，上新了！
KAN2.0。
这次与科学问题更长远地会通，不错轻便解出经典物理学筹办。
比如发现拉格朗日量（用来形容扫数物理系统能源现象的函数）
除此之外，筹办者还不错量身定制属于我方的KAN2.0，将专科常识行为提拔变量添加到输入当中去。
此前，KAN横空出世，通宵引爆科技圈。它以200万参数模子架构，平直复现DeepMind用30万参数的MLPs发现数学定理的筹办。要知说念，后者但是登上Nature封面的筹办。
由于KAN性能太好，一度引来对于「能否替代掉Transformer的MLP层」的探讨，各人直呼：Yes We KAN！
MIT博士生刘子鸣再次为论文一作。
业内学者们，纷纷赶来祝愿。
KAN2.0将AI与科学妥洽起来
AI+科学的一大挑战在于他们之间固有的不兼容性：现时AI主要基于连合主见，科学则依赖于绚烂主见。
这次新框架KAN2.0就主打将KANs同科学无缝协同，这种协同作用是双向的：科学到 KAN（将科学常识融入 KAN），KAN到科学（从KAN中索取科学倡导）。
更具体来说，KAN2.0对科学发现主要有三个方面的作用，浅近单毛糙到渐渐风雅复杂：
识别迫切特征、揭示模块结构、发现绚烂公式。
在原始KAN基础上主要引入了这三个新功能。
1、MultKAN：带有乘法节点的 KAN。
2、kanpiler：将绚烂公式编译成 KAN的编译器。
3、树蜕变器，将 KAN2.0架构（或任何神经网罗）蜕变为树状图。
跟上一版块比拟，KAN2.0的解说性更通用，比如像化学、生物学等这种很难用绚烂方程暗示的，熟女镇模块化结构和关节特征未必来形容。
比如，用户不错将模块化结构构建到KAN2.0中。
再通过KAN2.0同MLP神经元交换，就不错平直看到模块化结构。
此外，团队探究了奈何将先验常识融入KAN2.0。
基于这些更新，团队展示了KAN2.0发现多样经典物理定律的智商。
比如发现二维谐振子的守恒量。
期骗MLP和KAN2.0重新发现史瓦西黑洞的荫藏对称性。
还有像通过与KAN2.0交互，发现构造定律。
成人AV
接下来，团队有两个标的：一是将该框架应用于更大范围的问题；二是将其彭胀到物理学之外的其他科学学科。
MIT华东说念主一作
这次筹办来自MIT、加州理工学院、MIT CSAIL等机构的五位筹办者，共有三位华东说念主。
比拟于KAN运行版块，还有不少原班东说念主马，其中MIT刘子鸣如故为一作。
刘子鸣现在是MIT四年龄博士生，Max Tegmark是他的导师，其筹办兴味在于东说念主工智能与物理学的交叉领域，具体像AI科学家、物理学启发的深度学习、深度学习科学、机械可解说性等。
由于KAN受到无为的情怀，行为中枢作家，他在GitHub页面上有意注明，在筹算KAN并编写代码的时辰，研讨的是数学和物理示例（范围特地小！）因此莫得研讨到成果而可重用性方面的优化。
对于专注机器学习的用户，他坦言，KAN可能还不是个不错开箱即用的简便插件（现在还不是）。
KAN和MLP不成相互取代，他们在某些情况下各有上风，在其他情况下也有局限性。
好了，感兴味的小伙伴，可戳下方连结了解更多~
论文连结：
https://arxiv.org/abs/2408.10205
参考连结：
[1]https://github.com/KindXiaoming/pykan?tab=readme-ov-file
[2]https://kindxiaoming.github.io/
[3]https://x.com/ZimingLiu11/status/1825731703723405757【SSR-026】淫猥秘書