当前位置: 首页 > news >正文

做kegg的网站长沙网站设计拓谋网络

做kegg的网站,长沙网站设计拓谋网络,购物的网站功能,网页制作三剑客是哪些Momentum Contrast for Unsupervised Visual Representation Learning 动量在数学上理解为加权移动平均: yt-1是上一时刻输出,xt是当前时刻输入,m是动量,不想让当前时刻输出只依赖于当前时刻的输入,m很大时&#xff0…

Momentum Contrast for Unsupervised Visual Representation Learning

动量在数学上理解为加权移动平均:

yt-1是上一时刻输出,xt是当前时刻输入,m是动量,不想让当前时刻输出只依赖于当前时刻的输入,m很大时,变化很缓慢。

无监督视觉表征学习,把对比学习看成一个字典查询任务,动态字典由两部分组成,一个是队列,一个移动平均编码器。

字典大,使用的编码器一样或相似

方法:

懂了选的很大,这样动量编码器更新的非常缓慢,所以保证队列里面的k0,k1,k2…是从相似的编码器得到的。

假设有一个编码好的查询q,编码好的样本集{k0,k1,k2…},可以看做字典的key。假设字典只有一个key和q配对。

infoNCE,NCE是noise contrastive estimation

温度τ,用来控制分布形状,越大,exp函数里面的值越小,exp后也就越小,相当于把值变小了,使函数曲线更平滑。温度小,那exp后值更大,使分布更集中。如果温度设的很大,对比损失对所有负样本一视同仁,模型学习没有轻重,如果温度值设的过小,又会让模型只关注困难样本。但是那些负样本可能是潜在正样本,如果过度关注负样本,模型难收敛,不好泛化。

和交叉熵的k代表类别数量不同,这里的K是负样本数量。

训练过程中,每个batch都有一批新的keys进入队列,同时又有一些老的keys出去。

懂了编码器更新方式:

伪代码:

http://www.hrbkazy.com/news/23021.html

相关文章:

  • logo设计网站排行榜深圳网站优化哪家好
  • ppt做的模板下载网站杭州seo哪家好
  • 网站建设需要知道什么短信营销
  • 做飞机票预订网站新seo排名点击软件
  • 自己做网站发信息品牌营销策划十大要点
  • 如何用python 做网站个人信息怎么在百度推广
  • 兰州网站优化哪家好seo系统源码出售
  • 网站开发职业网上营销
  • 关于网站开发的个人小结怎样做一个网站
  • 做网站的作用廊坊自动seo
  • 网站优化的策略facebook海外推广
  • 友情链接网站被降权武汉seo搜索引擎优化
  • 网站建设需要哪个部门审批南宁网站建设网络公司
  • 网站采编队伍建设电商引流推广方法
  • 网站建设都用哪些软件百度高级搜索引擎入口
  • 如何做环保管家网站关键词权重如何打造
  • 大连模板网站制作哪家好市场营销专业
  • 网站开发w亿玛酷1订制上海sem
  • 设计师网站模版网络营销的现状
  • 客厅装修效果图片大全网站排名优化价格
  • 如何做充值网站高质量内容的重要性
  • 中铁建设企业门户小红书seo排名帝搜软件
  • 政府网站必须做等保百度后台登陆入口
  • 如何做论文网站教育培训报名
  • 什么做网站的公司好互联网销售平台有哪些
  • 制作网站复杂吗网页设计模板素材图片
  • 做app网站公司名称网上怎么找客户资源
  • 专门做评测的网站有哪些seo网站seo
  • 珠海企业网站推广服务seo排名计费系统
  • 如何建网站的步骤网络推广的方法有