当前位置: 首页 > news >正文

国外大型购物网站资源搜索器

国外大型购物网站,资源搜索器,模拟建筑2022手机版,龙华网站建设yihekj一、传统RNN存在的问题 1.序列前序太长,每个xi要记住前面的特征,而且一直在学,没有忘记,可能特征不能学的太好 2.串行,层越多越慢,难以堆叠很多层; 3.只能看到过去,不能看到未来 搞…

一、传统RNN存在的问题

1.序列前序太长,每个xi要记住前面的特征,而且一直在学,没有忘记,可能特征不能学的太好

2.串行,层越多越慢,难以堆叠很多层;

3.只能看到过去,不能看到未来

搞个双向的,然后把两个方向学到的特征拼接,那么对于xi影响最大的是xi-1和xi+1吗?是相邻的两个吗,不一定,所以也不太合理

二、重大事件 

1.2017年 attention is all your need  出现,RNN退出历史舞台

2.2018 年 transformer  更空出世,bert 和GPT1 

transformer究竟是干什么的?通俗上说就是:1是平淡无奇的特征,2是特征鲜明的特征,transformer的功能就是把1输入进去,然后输出2.

没有transformer之前的算法  训练模型就是训练参数,更新参数,但是transformer不仅更新参数,还可以根据上下文信息更新数据,transformer站的高看的远,考虑全文

三. self-attention

假设x1,x2是两个向量,它们两个的关系就是算内积 ,x1.x2=0表示没关系,x1.x2=表示关系特别大。

transformer中 不是简单算内积,而是构建三个向量参数  q,k,v,q相当于问,k相当于答,比如词 thing ,mathines编码后的特征是x1,x2,则x1和x1的关系是 q1.k1,x1和x1的关系是 q1.k2,x2和x2的关系是 q2.k2,x2于x1的关系是 q2.k1,怎么得到q,k,v呢?

q,k,v都是需要设计一个wx+b(w,b都是先初始化,再通过训练更新)的矩阵,通过和向量矩阵x1x2  全连接 计算得来的。参数值是通过训练得到的。transformer本质就是提特征。最后得到w,b,q,k,v ,怎么得到v呢?

value 表示自身特征,表示对自身的认知。也是需要学习的,输出attention value

向量维度越大,得到内积就越大,这是不合适的,需要排除特征维度的影响。所以要归一化,将值变成概率,dk是特征的维度。

比如想得到500维的特征向量,那就可以分5个头,也就是5组q,k,v,最后拼接,就可以得到更丰富的特征。

此例子中,我打你  ,你打我,两句话中的词 的特征是不变的,也就是说transformer对位置特征不敏感,所以需要加入位置信息

加入one-hot的位置编码,特征与对应位置的编码做加法就可以了

可以堆叠多层self-attention吗?可以模仿15年出世的resnet残差结构来实现,因为每一次的self-attention的输入和输出维度都一样,所以可以堆叠多层。

self-attention相当于encoder层,会得到每一个词的特征,那输出就是要利用这个学出来的特征去做事,比如翻译,就是decoder层了。左边的encoder部分每个词都通过self-attention学到了特征,右边decoder部分每一个词要提供q, encoder提供k,v ,q1k1=v1,q1k2=v2,q1k3=v3,q1k4=v4, 这就是cross-attention,decoder需要self-attention吗?要,只不过是只需要算后面和前面的关系,即算q2和q1的关系,不需要算q1和q2的关系,因为算去q1的时候,还没有q2呢,只能从后往前看,不能从前往后看,所以加入MASK机制遮挡后面看不到的

input: 输入一个词   

input Embedding  :词嵌入,即把词变成一个特征向量

norm:BN,批处理

add:残差链接

feed forward: 全连接     linear  也是全连接

注意:decoder部分 既有self-attention,又有cross-attention

多模态就是要学习各种特征,实际上就是cross- attention

bert  : 自监督  ,随机遮挡15%的词,然后预测这些词

http://www.hrbkazy.com/news/34394.html

相关文章:

  • 图片演示dw做网站网页设计与制作考试试题及答案
  • 租赁服务器做电影网站网站测速
  • 怎样评价一个网站做的好与不好优化怎么做
  • 网站建设多久热门seo推广排名稳定
  • 网站建设税率多少线下引流的八种推广方式
  • 织梦首饰网站模板北京营销型网站
  • 市场监督管理局官网查询怎么优化自己公司的网站
  • 直播网站如何做用手机制作自己的网站
  • 自己做网站还能挣钱吗怎样制作一个自己的网站
  • python 做网站 代码会重庆快速排名优化
  • 广告设计素材免费的网站网站seo哪家公司好
  • 可以做课程的网站搜狗搜索引擎优化论文
  • 有什么网站可以做免费推广seo的优化技巧有哪些
  • 建设银行温州支行官方网站朋友圈产品推广文案
  • 互动网站建设的主页百度seo关键词优化方案
  • wordpress小程序 jwtseo系统培训哪家好
  • 衡水做网站开发的搜索引擎关键词优化有哪些技巧
  • nodejs可以做企业网站吗成品ppt网站国外
  • 广西做网站的公司有哪些做个公司网站一般需要多少钱
  • 怎么做win10原版系统下载网站网站托管代运营
  • 郑州做网站设计网站建站推广
  • 做网站需要的信息网站域名注册
  • 网站设计项目排超联赛积分榜
  • 如何在淘宝网做自己的网站小程序制作一个需要多少钱
  • 如今做那些网站致富站长工具端口检测
  • 建设银行防钓鱼网站软文广告案例分析
  • 广西房地产网站建设谷歌google
  • wordpress侧边菜单主题seo流量的提升的软件
  • 网站建设收费标准行情万能搜索
  • 电商购物网站建设福州seo按天付费