主成分分析（PCA） PCA是一种最常用的降维方法 最近重构性：样本点到这个超平面的距离都足够近 最大可分性：样本点在这个超平面上的投影能尽可能分开 最近重构性 最大可分性 应用拉格朗日乘子法 结果 降维导致 d-d'个特征值的特征向量被舍弃了，舍弃这部分信息能使样本的采样密度增大，另外 ...

明明按概率，亲测却非常随机 tf.multinomial(logits, num_samples, seed=None, name=None) 从multinomial分布中采样，样本个数是num_samples，每个样本被采样的概率由logits给出 parametrs: logits: 2- ...

不使用tensorflow任何梯度下降方法 # -*- coding: utf8 -*-import tensorflow as tf# Import MNIST datafrom tensorflow.examples.tutorials.mnist import input_datamnist ...

常量初始化 tf中使用tf.constant_initializer(value)类生成一个初始值为常量value的tensor对象。 constant_initializer类的构造函数定义： def __init__(self, value=0, dtype=dtypes.float32, ve ...

数据标准化 数据的分布情况如何？数据是否经过适当的缩放？总体上的规则是： 如果数据是连续值：范围应当在-1到1、0到1，或者呈平均值为0、标准差为1的正态分布。实际的范围不用如此精确，但确保输入数据大致处于上述区间内会有助于训练。缩小过大的输入，放大过小的输入。 如果数据是离散的类别（以及对于分类 ...

初始化 一次惨痛的教训是用normal初始化cnn的参数，最后acc只能到70%多，仅仅改成xavier，acc可以到98%。还有一次给word embedding初始化，最开始使用了TensorFlow中默认的initializer（即glorot_uniform_initializer，也就是大 ...

python存excel数据 import xlwt import pdb workbook=xlwt.Workbook(encoding='utf-8') booksheet=workbook.add_sheet('data', cell_overwrite_ok=True) DATA=(('学号 ...

神经元模型 神经网络中最基本的成分是神经元模型。 M-P神经元模型 激活函数 感知机与多层网络 感知机 感知机由两层神经元组成，如图， 感知机能够容易的实现逻辑与、或、非运算， $f(\sum_iw_ix_i-\theta)$, 假定f是阶跃函数，有 与：令 $w_1=w_2=1,\thet ...

以多分类为例 贝叶斯判定准则 为最小化总体风险，只需在每个样本上选择能使条件风险 $R(c \mid x)$ 最小的类别标记，即为： $h^*(x)=argmin_{c \in y}R(c \mid x)=argmax_{c \in y}P(c \mid x)$, 此时，$h^*$ 为贝叶斯最优分类 ...