当前位置: 首页 > news >正文

网站买了服务器后该怎么做做灰色词seo靠谱

网站买了服务器后该怎么做,做灰色词seo靠谱,wordpress 个性博客,广州网站seo本文是LLM系列文章,针对《Pruning Pre-trained Language Models Without Fine-Tuning》的翻译。 修剪未微调的预训练语言模型 摘要1 引言2 相关工作3 背景4 静态模型剪枝5 实验6 分析7 结论8 局限性 摘要 为了克服预训练语言模型(PLMs)中的过度参数化问题&#xf…

本文是LLM系列文章,针对《Pruning Pre-trained Language Models Without Fine-Tuning》的翻译。

修剪未微调的预训练语言模型

  • 摘要
  • 1 引言
  • 2 相关工作
  • 3 背景
  • 4 静态模型剪枝
  • 5 实验
  • 6 分析
  • 7 结论
  • 8 局限性

摘要

为了克服预训练语言模型(PLMs)中的过度参数化问题,剪枝作为一种简单直接的压缩方法被广泛使用,它直接去除不重要的权重。先前的一阶方法成功地将plm压缩到极高的稀疏度,而性能下降很小。这些方法,如运动剪枝,使用一阶信息剪枝plm,同时微调剩余的权重。在这项工作中,我们认为微调对于一阶剪枝是多余的,因为一阶剪枝足以在没有微调的情况下将plm收敛到下游任务。在此动机下,我们提出了静态模型剪枝(SMP),该方法仅使用一阶剪枝使plm适应下游任务,同时达到目标稀疏度水平。此外,我们还设计了新的掩蔽函数和训练目标来进一步改进SMP。在各种稀疏度水平上的大量实验表明,SMP方法比一阶和零阶方法有显著的改进。与以前的一阶方法不同,SMP也适用于低稀疏度,并且优于零阶方法。同时,由于不需要微调,SMP比其他方法具有更高的参数效率。我们的代码可在https://github.com/kongds/SMP上获得。

1 引言

2 相关工作

3 背景

4 静态模型剪枝

5 实验

6 分析

7 结论

在本文中,我们提出了一种简单而有效的特定于任务的剪枝方法,称为静态模型剪枝(SMP)。考虑到之前的方法,即执行修剪和微调以使plm适应下游任务,我们发现微调可能是冗余的,因为一阶修剪已经收敛了plm。在此基础上,我们的方法侧重于使用一阶剪枝来代替微调。无需微调,我们的方法明显优于其他一阶方法。大量的实验也表明,我们的方法在各种稀疏度下都达到了最先进的性能。对于BERT中的彩票假设,我们发现它包含了不需要训练就能获得原始性能的稀疏性子网,这些子网在80%剩余权重下甚至优于GLUE上微调后的BERT。

8 局限性

与所有非结构化剪枝方法一样,SMP与结构化剪枝方法相比难以实现推理加速。由于SMP对模型的剪枝没有进行微调,这也限制了SMP对结构化剪枝方法的扩展。然而,我们发现SMP中大多数稀疏矩阵的行在高稀疏度水平上是完全修剪的。这允许我们直接压缩矩阵的大小,从而产生更快的推理。例如,MNLI的3%剩余权重模型可以被压缩到模型实际大小的47.43%(导致大约1.37倍的推理加速),而无需重新训练或性能损失。通过删除包含少于10个剩余权重的矩阵行,我们可以进一步将其压缩到实际大小的25.19%(推理加速1.76倍),精度下降0.9。我们期望在训练过程中精心设计的损失函数可以导致更小的实际模型大小和更快的推理加速,我们将其留在未来。

http://www.hrbkazy.com/news/20331.html

相关文章:

  • 宁城网站建设公司如何快速收录一个网站的信息
  • seo关键词排名如何seo方法培训
  • 坂田网站建设推广公司合肥网站排名提升
  • 云适配 网站产品50个关键词
  • 在线学习网站开发江苏网站开发
  • 那个做网站好seo技术介绍
  • 中小型网站建设哪家好厦门seo外包公司
  • 广州网站建设费用有什么平台可以推广信息
  • 购物网站设计理念滨州seo排名
  • 韩国手机网站模板小程序开发平台有哪些
  • 专业做域名的网站吗广州网站排名优化公司
  • wordpress常用技巧南宁优化推广服务
  • 免费 成品模板网站培训机构加盟店排行榜
  • 长沙网站建设服务商谷歌商店官网下载
  • php做的大型网站网上宣传广告怎么做
  • 牌具做网站最新新闻热点事件2023
  • 网站的网站建设企业地推扫码平台
  • 高性能网站建设指南pdf中国今天刚刚发生的新闻
  • 中国移动采购与招标网seopeixun
  • 世界工厂采购网站公司如何在百度宣传
  • 个人网页设计作品手绘搜索seo怎么优化
  • 当当网网站建设云服务器
  • 凤台做网站灰色关键词快速排名
  • 专注七星彩网站开发网店运营公司
  • 网站所属权会计培训机构排名前十
  • 江苏省建设工程竣工验收网站seo基础
  • 宁波网站建设优化服务公司武汉seo招聘信息
  • 淄博网站建设zb533b站2020推广网站
  • ASP网站建设招聘搜索排名
  • 内蒙古包头做网站的公司2024年新冠疫情最新消息