博客
关于我
刘铁岩:如何四两拨千斤,高效地预训练NLP模型?
阅读量:600 次
发布时间:2019-03-12

本文共 1095 字,大约阅读时间需要 3 分钟。

刘铁岩博士在第十九届中国计算语言学大会(CCL)上的演讲题为「四两拨千斤:实现高效的NLP模型预训练」,深入探讨了当前大规模预训练模型在自然语言处理领域的挑战与解决方案。以下是演讲的核心内容总结:

大规模预训练模型

2018年,微软亚洲研究院(MSRA)在SQuAD 1.1数据集上首次使机器阅读理解达到人类水平,标志着自然语言处理领域进入了一个全新的阶段。随后,微软的机器翻译技术也达到了与人类相当的水平,证明了大规模预训练模型的巨大潜力。

预训练的计算开销

尽管大规模预训练模型表现出色,但其计算开销却十分巨大。以GPT-3为例,其拥有1750亿参数,仅仅完成一次训练就需要近1200万美元的投入。这使得大多数科研机构难以负担,导致相关研究被科技巨头垄断,创新停滞的风险日益增加。

打破预训练魔咒

为了解决这一问题,微软亚洲研究院团队提出了多项创新性解决方案:

  • 预训练过程的形式化建模:通过对数据处理、模型结构、损失函数和优化策略进行全面优化,显著降低了预训练的计算开销。
  • 轻量化模型:Fast-BERT等轻量级模型通过知识蒸馏、剪枝等技术,进一步提升了推理效率。
  • 数据清洗:针对训练数据中的“Ugly data”和罕见词例,提出了数据清洗和上下文嵌入的技术,提升了训练效率。
  • 位置编码优化:提出了TUPE(Transformer Ultimate Positional Encoding)方法,降低了注意力层的计算开销。
  • 任务动态调节:通过元控制器自适应生成多选题任务,动态调整训练难度,提升了模型训练效率。
  • 数据质量的重要性

    训练数据的质量对模型性能至关重要。高频词例通常信息丰富且易于训练,而罕见词例往往包含重要信息却难以学习。MSRA团队提出了针对罕见词例的上下文嵌入技术,显著提升了模型性能。

    模型优化

    Transformer模型虽然在2017年取得了突破性进展,但其绝对位置编码和层归一化结构存在一定局限性。MSRA团队通过以下优化:

  • 位置编码调整:提出的TUPE方法减少了注意力层的计算量。
  • 层归一化调整:将层归一化模块合并到残差模块中,提升了模型的鲁棒性。
  • 渐进式堆叠:通过浅层模型训练后作为深层模型的初始化,降低了计算开销。
  • 任务优化

    传统的掩模语言模型任务(如完形填空)难度较大,容易导致训练不稳定。MSRA团队提出通过多选题任务和元控制器的动态难度调节,显著提升了训练效率。

    结语

    通过对数据、模型、任务和优化策略的全面优化,MSRA团队成功降低了大规模预训练模型的计算开销,并显著提升了模型性能。未来,NLP预训练领域还有更多潜力和挑战,期待更多技术创新和突破。

    转载地址:http://xnyxz.baihongyu.com/

    你可能感兴趣的文章
    Luogu2973:[USACO10HOL]赶小猪
    查看>>
    mabatis 中出现< 以及> 代表什么意思?
    查看>>
    Mac book pro打开docker出现The data couldn’t be read because it is missing
    查看>>
    MAC M1大数据0-1成神篇-25 hadoop高可用搭建
    查看>>
    mac mysql 进程_Mac平台下启动MySQL到完全终止MySQL----终端八步走
    查看>>
    Mac OS 12.0.1 如何安装柯美287打印机驱动,刷卡打印
    查看>>
    MangoDB4.0版本的安装与配置
    查看>>
    Manjaro 24.1 “Xahea” 发布!具有 KDE Plasma 6.1.5、GNOME 46 和最新的内核增强功能
    查看>>
    mapping文件目录生成修改
    查看>>
    MapReduce程序依赖的jar包
    查看>>
    mariadb multi-source replication(mariadb多主复制)
    查看>>
    MariaDB的简单使用
    查看>>
    MaterialForm对tab页进行隐藏
    查看>>
    Member var and Static var.
    查看>>
    memcached高速缓存学习笔记001---memcached介绍和安装以及基本使用
    查看>>
    memcached高速缓存学习笔记003---利用JAVA程序操作memcached crud操作
    查看>>
    Memcached:Node.js 高性能缓存解决方案
    查看>>
    memcache、redis原理对比
    查看>>
    memset初始化高维数组为-1/0
    查看>>
    Metasploit CGI网关接口渗透测试实战
    查看>>