当前位置: 首页 > news >正文

保定网站设计网站百度竞价广告怎么收费

保定网站设计网站,百度竞价广告怎么收费,做网站有哪些,让别人做网站推广需要多少钱局部保持投影(Locality preserving projections,LPP) 方法概述 核心思想 有映射 Y m ∗ n f ( X d ∗ n ) \underset{m*n}{Y}f(\underset {d*n}X) m∗nY​f(d∗nX​),能够实现将d维的样本变换到m维空间之中 假设:对…

局部保持投影(Locality preserving projections,LPP)

方法概述

核心思想

  • 有映射 Y m ∗ n = f ( X d ∗ n ) \underset{m*n}{Y}=f(\underset {d*n}X) mnY=f(dnX),能够实现将d维的样本变换到m维空间之中

  • 假设:对于一个好的降维方法,在高维空间下距离近(相似度高)的两个点,在低维空间下依旧保持相近的关系。高维空间相似度高的两个点在低维空间相似度依旧很高

  • 考虑映射 Y = W T X Y=W^TX Y=WTX,即原样本空间中有 x i x_i xi x j x_j xj距离近, y i y_i yi y j y_j yj( y i = W T x i y_i=W^T x_i yi=WTxi)仍保持相近关系

优化目标
  • 定义优化目标:
    m i n ∑ i ∑ j ∣ ∣ y i − y j ∣ ∣ 2 s i j min\sum_i \sum_j ||y_i - y_j||^2s_{ij} minij∣∣yiyj2sij
    即在原始空间中近的点( s i j s_{ij} sij大),其在降维后应该尽可能接近( y i 与 y j 距离更小 y_i与y_j 距离更小 yiyj距离更小
方法推导:
  • 对于LPP方法,有目标:

a r g m i n W ∑ i ∑ j ∣ ∣ y i − y j ∣ ∣ 2 s i j \underset{W}{arg\ min} \sum_i \sum_j ||y_i- y_j||^2s_{ij} Warg minij∣∣yiyj2sij

  • 对于目标:
    ∑ i = 1 n ∑ j = 1 n ∣ ∣ y i − y j ∣ ∣ 2 s i j = ∑ i = 1 n ∑ j = 1 n ( y i T y i − y i T y j − y j T y i + y j T y j ) s i j = ∑ i = 1 n ( ∑ j = 1 n s i j ) 2 y i T y i − ∑ i = 1 n ∑ j = 1 n y i T y j s i j = 2 ∑ i n y i T y i d i i − 2 ∑ i n ∑ j n y i T y j s i j = 2 t r ( Y D Y T ) − 2 t r ( Y S Y T ) = 2 t r ( Y L Y T ) \sum_{i=1}^n \sum_{j=1}^n ||y_i- y_j||^2s_{ij}\\ =\sum_{i=1}^n \sum_{j=1}^n (y_i^Ty_i-y_i^Ty_j-y_j^Ty_i+y_j^Ty_j)s_{ij}\\ =\sum_{i=1}^n (\sum_{j=1}^ns_{ij})2y_i^Ty_i-\sum_{i=1}^n \sum_{j=1}^ny_i^Ty_js_{ij}\\ =2\sum_i^ny_i^Ty_id_{ii}-2\sum_i^n\sum_j^ny_i^Ty_js_{ij}\\ =2tr(YDY^T)-2tr(YSY^T)\\ =2tr(YLY^T)\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ i=1nj=1n∣∣yiyj2sij=i=1nj=1n(yiTyiyiTyjyjTyi+yjTyj)sij=i=1n(j=1nsij)2yiTyii=1nj=1nyiTyjsij=2inyiTyidii2injnyiTyjsij=2tr(YDYT)2tr(YSYT)=2tr(YLYT)                         

去除乘数,最终优化目标为:
t r ( Y L Y T ) tr(YLY^T) tr(YLYT)
带入 Y = W T X Y = W^TX Y=WTX,得到最小化目标:
t r ( W T X L X T W ) tr(W^TXLX^TW) tr(WTXLXTW)

  • 该目标存在平凡零解: W = O m ∗ d W=O_{m*d} W=Omd

    此时L取最小值0,出现维度坍缩,所有样本映射到同一个点上,此解无意义

  • 当W不取零矩阵时,由于没有添加尺度约束,在降维子空间一定(组成基向量方向一致)情况下,当尺度不断变小时,目标L会同时变小,无限趋于0,不存在最小值

  • 因此,考虑对最小化目标变形为

    • t r ( Y L Y T ) t r ( Y D Y T ) = t r ( W T X L X T W ) W T X D X T W \frac{tr(YLY^T)}{tr(YDY^T)} = \frac{tr(W^TXLX^TW)}{W^TXDX^TW} tr(YDYT)tr(YLYT)=WTXDXTWtr(WTXLXTW)

      考虑到尺度因素,加以约束 Y D Y T = I YDY^T=I YDYT=I也即 W T X D X T W = I W^TXDX^TW=I WTXDXTW=I,

      原始优化问题有多个解。由于是线性映射,若同比例缩小低维样本 y i y_i yi,得到的数据集Y都可作为最优的低维数据集。故加入约束: t r ( Y D Y ⊤ ) = ∑ i = 1 n d i i y i T y i = 1 tr(YDY^\top)=\sum_{i=1}^nd_{ii}y_i^Ty_i=1 tr(YDY)=i=1ndiiyiTyi=1,通过限制 y i y_i yi的模长,使问题有唯一解。

  • 参考LDA中提到的广义瑞利商,可知:

    • λ m i n ( ( X D X T ) − 1 ( X L X T ) ) ≤ t r ( W T X L X T W ) t r ( W T X D X T W ) ≤ λ m a x ( ( X D X T ) − 1 ( X L X T ) ) λ_{min}((XDX^T)^{-1}(XLX^T))≤\frac{tr(W^TXLX^TW)}{tr(W^TXDX^TW)}≤λ_{max}((XDX^T)^{-1}(XLX^T)) λmin((XDXT)1(XLXT))tr(WTXDXTW)tr(WTXLXTW)λmax((XDXT)1(XLXT))

      变换矩阵: W = [ w 1 , w 2 , . . . , w m ] W=[w_1,w_2,...,w_m] W=[w1,w2,...,wm] ( X D X T ) − 1 ( X L X T ) (XDX^T)^{-1}(XLX^T) (XDXT)1(XLXT)最小m个特征向量构成

  • 矩阵形式推导:

由拉格朗日乘子法,构建L: L = t r ( W T X L X T W ) − t r ( Λ ( W T X D X T W − I ) ) L = tr(W^TXLX^TW)-tr(\Lambda(W^TXDX^TW-I)) L=tr(WTXLXTW)tr(Λ(WTXDXTWI))

对W求偏导并令为0:
2 X L X T W − 2 X D X T W Λ = 0 X L X T W = X D X T W Λ 有: ( X D X T ) − 1 X L X T W = W Λ 2XLX^TW-2XDX^TW\Lambda=0\\ XLX^TW= XDX^TW \Lambda\\ 有:(XDX^T)^{-1}XLX^TW=W\Lambda 2XLXTW2XDXTWΛ=0XLXTW=XDXTWΛ有:(XDXT)1XLXTW=WΛ

W由 ( X D X T ) − 1 X L X T (XDX^T)^{-1}XLX^T (XDXT)1XLXT的特征向量作为列向量构成,且为了最小化目标函数,选取的特征向量应该是最小m个特征值对应的特征向量

相关定义
  • 权重矩阵S:

    • 定义样本 x i x_i xi x j x_j xj之间的权重 w i j w_{ij} wij, 原则是样本点之间距离越小,权重越大

    • 权重矩阵S常用定义方式:
      S i j = { s i j = e x p ( − ∣ ∣ x i − x j ∣ ∣ 2 t ) x i ∈ N k ( x j ) 即 x i 是 x j 的 k 近邻 s i j = 0 e l s e S_{ij} = \left\{ \begin{matrix} s_{ij} = exp(-\frac{||x_i - x_j||^2}{t})\ \ \ \ \ x_i∈N_k(x_j) 即x_i是x_j的k近邻\\ s_{ij}=0\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ else \end{matrix} \right. Sij={sij=exp(t∣∣xixj2)     xiNk(xj)xixjk近邻sij=0                                                                else

  • 度矩阵D:

    • 度矩阵D是一个对角阵,其对角元素 D i i = ∑ j = 1 n s i j D_{ii} = \sum_{j=1}^{n} s_{ij} Dii=j=1nsij

    • D = { ∑ j = 1 n s 1 j 0 . . . 0 0 ∑ j = 1 n s 2 j . . . 0 . . . . . . . . . . . . 0 0 . . . ∑ j = 1 n s n j } D= \left. \left \{ \begin{matrix} \sum_{j=1}^ns_{1j}\ \ \ \ 0\ \ \ \ ...\ \ \ \ 0 \\ 0\ \ \ \ \sum_{j=1}^ns_{2j}\ \ \ \ ...\ \ \ \ 0 \\ ...\ \ \ \ ...\ \ \ \ ...\ \ \ \ ... \\ 0\ \ \ \ 0\ \ \ \ ...\ \ \ \ \sum_{j=1}^ns_{nj} \end{matrix} \right. \right\} D= j=1ns1j    0    ...    00    j=1ns2j    ...    0...    ...    ...    ...0    0    ...    j=1nsnj

  • 拉普拉斯矩阵L:L=D-S

有运算:
Y D Y T = [ y 1 , y 2 , . . . , y n ] [ d 11 0 . . . 0 0 d 22 . . . 0 . . . . . . . . . . . . 0 0 . . . d n n ] [ y 1 T y 2 T . . . y n T ] = [ d 11 y 1 , d 22 y 2 , . . . , d n n y n ] [ y 1 T y 2 T . . . y n T ] = d 11 y 1 y 1 T + d 22 y 2 y 2 T + . . . + d n n y n y n T = ∑ i = 1 n y i d i i y i T = ∑ i = 1 n d i i y i y i T YDY^T = [y_1,y_2,...,y_n] \left. \left [ \begin{matrix} d_{11}\ \ \ \ 0\ \ \ \ ...\ \ \ \ 0 \\ 0\ \ \ \ d_{22}\ \ \ \ ...\ \ \ \ 0 \\ ...\ \ \ \ ...\ \ \ \ ...\ \ \ \ ... \\ 0\ \ \ \ 0\ \ \ \ ...\ \ \ \ d_{nn} \end{matrix} \right. \right] \left. \left [ \begin{matrix} y_1^T \\ y_2^T \\ ... \\ y_n^T \end{matrix} \right. \right] \\ =[d_{11}y_1,d_{22}y_2,...,d_{nn}y_n] \left. \left [ \begin{matrix} y_1^T \\ y_2^T \\ ... \\ y_n^T \end{matrix} \right. \right] \\ =d_{11}y_1y_1^T + d_{22}y_2y_2^T + ... + d_{nn}y_ny_n^T=\sum_{i=1}^ny_id_{ii}y_i^T=\sum_{i=1}^nd_{ii}y_iy_i^T\\ YDYT=[y1,y2,...,yn] d11    0    ...    00    d22    ...    0...    ...    ...    ...0    0    ...    dnn y1Ty2T...ynT =[d11y1,d22y2,...,dnnyn] y1Ty2T...ynT =d11y1y1T+d22y2y2T+...+dnnynynT=i=1nyidiiyiT=i=1ndiiyiyiT
因此有:
t r ( Y D Y T ) = ∑ i = 1 n d i i y i T y i tr(YDY^T) = \sum_{i=1}^nd_{ii}y_i^Ty_i tr(YDYT)=i=1ndiiyiTyi
类似可得:
t r ( Y S Y T ) = ∑ i = 1 n ∑ j = 1 n s i j y i T y j tr(YSY^T) = \sum_{i=1}^n\sum_{j=1}^ns_{ij}y_i^Ty_j tr(YSYT)=i=1nj=1nsijyiTyj

方法流程
1)由样本矩阵X构建权重矩阵S,度矩阵D,拉普拉斯矩阵L

2)求 ( X D X T ) − 1 X L X T (XDX^T)^{-1}XLX^T (XDXT)1XLXT的特征向量,取最小m个作列向量构成变换矩阵W

3)由 Y = W T X Y=W^TX Y=WTX完成降维

http://www.hrbkazy.com/news/14431.html

相关文章:

  • 男女生做羞羞事情的网站广州seo关键字推广
  • 深圳市建设工程造价管理站免费网址注册
  • 商洛网站制作站长工具5g
  • 哪些人需要做网站浏览器下载安装
  • 网络调查问卷在哪个网站做百度手游app下载
  • 手机在线做ppt的网站在广州做seo找哪家公司
  • 江西省城乡住房建设厅培训网站百度推广的方式有哪些
  • 星宿网站建设seo优质友链购买
  • 用什么软件可以做网站动态热点事件
  • 做做网站下载2023百度人工智能开放平台
  • 洛阳做网站哪家专业西安网络科技公司排名
  • 岚山网站建设报价杭州关键词排名系统
  • 大良网站建设价格2022年搜索引擎优化指南
  • 做网站点击率赚钱搜索引擎关键词怎么优化
  • 微网站怎么做的好怎么推广一个平台
  • 个人网站是否需要备案爱站网seo查询
  • wordpress自动文章排版seo课程培训要多少钱
  • 南昌网站建设培训东莞网站推广技巧
  • 沧州响应式网站开发查询网站服务器
  • 杭州电信网站备案合肥最新消息今天
  • 整合网络营销推广淘宝seo优化怎么做
  • 义乌小程序开发制作公司seo收费标准
  • 牌具做网站可以吗今天最新新闻事件报道
  • 东软网站建设方案短链接生成器
  • 做网站的技术性说明绍兴seo外包
  • 网站创建app软文推广软文营销
  • 景观网站建设百度流量推广项目
  • 百度怎样建立一个网站湖南网站seo公司
  • 有哪些建设网站公司吗百度电商推广
  • 做网站是用什么语言做成的国内军事新闻最新消息