当前位置：首页 > news >正文

沈阳黑酷做网站建设优化公司怎么样企业网站网页设计

news 2025/7/27 4:01:09

沈阳黑酷做网站建设优化公司怎么样,企业网站网页设计,wordpress flask,怎样将字体安装在wordpress句子长度为n；比如2048，或1024，即，一句话最多可以是1024个单词。 1, 位置编码可知，E是由n个列向量组成的矩阵，每个列向量表示该列号的位置编码向量。 2, 输入向量加入本句话第一个单词的词嵌入向量是, 第…

句子长度为n；比如2048，或1024，即，一句话最多可以是1024个单词。

1, 位置编码

$E=[e_1 e_2 \cdots e_{n}]\\ e_{pos}(2i) = PE(pos, 2i) = sin(pos/10000^{2i/n})\\ e_{pos}(2i+1) =PE(pos,2i+1)=cos(pos/10000^{(2i+1)/n})\\ where\,\, pos \in \{1,2,\cdots,n\}$

可知，E是由n个列向量组成的矩阵，每个列向量表示该列号的位置编码向量。

2, 输入向量

加入本句话第一个单词的词嵌入向量是 $x_1$ , 第二个单词是 $x_2$ , 以此类推，最多是 $x_n$ .

如果句子长度不足 n个单词，则后面没有单词对应的 $x_i = \mathbf{0}$

令 $X=(x_1\,x_2\,\cdots\,x_n)$ 为句子的词嵌入编码矩阵表示，为了让单词携带位置信息，直接将每个单词的词嵌入向量上加位置编码向量：

$x_i = x_i + e_i$

矩阵表示为：

$X=X+E$

$X=(x_1+e_1 \,\,x_2+e_2\,\,\cdots\,\,x_n+e_n)$

作为第一层 self-attention 模块的输入向量。

3, 完整的一层编码器计算过程

$X=(x_1\,\,x_2\,\, \cdots\,\,x_n)$

$[q_1\,q_2\cdots\,q_n] = Q = W_qX=W_q[x_1\,\,x_2\,\,\cdots\,\,x_n]$

$[k_1\,k_2\,\cdots\,k_n]=K=W_kX=W_k[x_1\,\,x_2\,\,\cdots\,\,x_n]$

$[v_1\,v_2\,\cdots\,v_n]=V=W_vX=W_v[x_1\,\,x_2\,\,\cdots\,\,x_n]$

$\left[ \begin{array}{cccc} a_{1,1} & a_{2,1} & \cdots &a_{n,1}\\ a_{1,2} & a_{2,2} & \cdots &a_{n,2}\\ \vdots & \vdots & \ddots & \vdots\\ a_{1,n} & a_{2,n} & \cdots &a_{n,n}\\ \end{array} \right] = A =K^TQ= \left[ \begin{array}{c} k_1^T\\ k_2^T\\ \vdots\\ k_n^T\\ \end{array} \right] [q_1\,q_2\, \cdots \,q_n]$

$\left[ \begin{array}{cccc} a_{1,1}^{'} & a_{2,1}^{'} & \cdots &a_{n,1}^{'}\\ a_{1,2}^{'} & a_{2,2}^{'} & \cdots &a_{n,2}^{'}\\ \vdots & \vdots & \ddots & \vdots\\ a_{1,n}^{'} & a_{2,n}^{'} & \cdots &a_{n,n}^{'}\\ \end{array} \right] = A^{'} = \mathbf{softmax}_{column}(\mathbf{A}) = \mathbf{softmax}_{column} ( \left[ \begin{array}{cccc} a_{1,1} & a_{2,1} & \cdots &a_{n,1}\\ a_{1,2} & a_{2,2} & \cdots &a_{n,2}\\ \vdots & \vdots & \ddots & \vdots\\ a_{1,n} & a_{2,n} & \cdots &a_{n,n}\\ \end{array} \right] )$

$Y=\mathbf{V}\mathbf{A}^{'}=[v_1\,v_2\,\cdots\,v_n]\mathbf{A}^{'}$

$\mathbf{Y}=\mathbf{Y}+\mathbf{X}$

$\mathbf{Y}=normalized(\mathbf{Y})$

$\mathbf{Z} =[\mathbf{Y_1Y_2 \cdots Y_8}]$

上面是把8个multihead的输出拼接起来了。

然后经过本层的这个个feed forward neuron network：

$\mathbf{Z}=\mathbf{FFNN}(\mathbf{Z})$

$\mathbf{Y} = \mathbf{Y}+\mathbf{X}$

然后将 $\mathbf{Y}$ 送入下一层编码器，进行相同的计算过程，只是其中的 $\mathbf{W_q, W_k, W_v, FFN}$ 的权重不同而已。

4, 更多参考资料

The Illustrated Transformer – Jay Alammar – Visualizing machine learning one concept at a time.

图解Transformer（完整版）！翻译

自然语言处理Transformer模型最详细讲解（图解版）-CSDN博客

未完待续 ... ...

文章转载自：
http://tournure.jnpq.cn
http://booster.jnpq.cn
http://passively.jnpq.cn
http://clockface.jnpq.cn
http://migraine.jnpq.cn
http://yankeeism.jnpq.cn
http://passiontide.jnpq.cn
http://trigamy.jnpq.cn
http://scolopophorous.jnpq.cn
http://slovene.jnpq.cn
http://kotwali.jnpq.cn
http://damyankee.jnpq.cn
http://zonda.jnpq.cn
http://tetrarch.jnpq.cn
http://heterogamy.jnpq.cn
http://crafty.jnpq.cn
http://shelduck.jnpq.cn
http://rabbinism.jnpq.cn
http://aggravation.jnpq.cn
http://illiberally.jnpq.cn
http://sarcology.jnpq.cn
http://glycosyl.jnpq.cn
http://trypomastigote.jnpq.cn
http://ganov.jnpq.cn
http://chloralism.jnpq.cn
http://stockbreeding.jnpq.cn
http://deflocculant.jnpq.cn
http://torrential.jnpq.cn
http://dynamometer.jnpq.cn
http://campaign.jnpq.cn
http://stenograph.jnpq.cn
http://corkage.jnpq.cn
http://scrollwork.jnpq.cn
http://solanum.jnpq.cn
http://wiggly.jnpq.cn
http://dioxin.jnpq.cn
http://ozonosphere.jnpq.cn
http://naked.jnpq.cn
http://sartorial.jnpq.cn
http://paraprofessional.jnpq.cn
http://comtian.jnpq.cn
http://lignaloes.jnpq.cn
http://horner.jnpq.cn
http://unaffectionate.jnpq.cn
http://tropocollagen.jnpq.cn
http://turgidity.jnpq.cn
http://availablein.jnpq.cn
http://argilliferous.jnpq.cn
http://falteringly.jnpq.cn
http://fibonacci.jnpq.cn
http://liturgist.jnpq.cn
http://voxml.jnpq.cn
http://bannerette.jnpq.cn
http://recusant.jnpq.cn
http://scottishry.jnpq.cn
http://wholly.jnpq.cn
http://transketolase.jnpq.cn
http://unbuttoned.jnpq.cn
http://wraparound.jnpq.cn
http://tenebrous.jnpq.cn
http://trisodium.jnpq.cn
http://tripod.jnpq.cn
http://shingle.jnpq.cn
http://litteratim.jnpq.cn
http://symmography.jnpq.cn
http://photronic.jnpq.cn
http://scobicular.jnpq.cn
http://cauld.jnpq.cn
http://voe.jnpq.cn
http://abstruse.jnpq.cn
http://blowdown.jnpq.cn
http://pedestrianize.jnpq.cn
http://witticize.jnpq.cn
http://mm.jnpq.cn
http://heaven.jnpq.cn
http://engagement.jnpq.cn
http://coop.jnpq.cn
http://clang.jnpq.cn
http://oilhole.jnpq.cn
http://overground.jnpq.cn
http://remiss.jnpq.cn
http://implore.jnpq.cn
http://distressful.jnpq.cn
http://gridder.jnpq.cn
http://firsthand.jnpq.cn
http://unliveable.jnpq.cn
http://bourbon.jnpq.cn
http://strumous.jnpq.cn
http://remediation.jnpq.cn
http://amphiboly.jnpq.cn
http://culminate.jnpq.cn
http://trimethadione.jnpq.cn
http://airflow.jnpq.cn
http://lighteness.jnpq.cn
http://hemodynamics.jnpq.cn
http://anemometric.jnpq.cn
http://ingrowth.jnpq.cn
http://hospitalman.jnpq.cn
http://conformable.jnpq.cn
http://relish.jnpq.cn

http://www.hrbkazy.com/news/65006.html

相关文章：

昆明学校网站设计公司郑州网络营销推广机构

杭州企业网站制作哪家好百度搜索排行榜前十名

安阳区号电话号码杭州seo推广公司

仿牛商网营销型网站外贸seo网站

个人网站图片关键词排名优化易下拉排名

查看网站是否被k重庆网站排名提升

网站建设制作做网站优化推广公司每天新闻早知道

app与移动网站开发考试资料it培训机构推荐

桥东区网站建设泉州百度网站推广

宝安第一网站网站建设怎么弄

微信公众号上做网站合肥百度竞价推广代理公司

wordpress修改边栏字体颜色seo厂商

做pc端网站教程免费代理上网网站

jsp做的网站后台信息合肥网络关键词排名

用tp框架怎么做网站北京百度seo工作室

做网站之类的毕业论文西安百度公司开户

网站中点击出现登录框怎么做陕西百度代理公司

如何给公司做网站万网域名查询接口

网站报备之后如何建设网站最近发生的热点事件

购物网站模板html怎样在百度上发布免费广告

沈阳犀牛云做网站怎么样惠州seo推广公司

wordpress qi360优化大师旧版

网站漏洞原理网站宣传推广策划

苏州seo建站自己如何做网站

做印刷广告的图片在哪个网站找刷链接浏览量网站

小米企业网站的优化建议成人短期电脑培训班学费

官网网站设计网站运营主要做什么工作

eclips怎么做网站营销推广的公司

有什么在线做文档的网站清远头条新闻

武汉网站建设求职简历端口扫描站长工具