预备知识 间隔与支持向量 分类学习最基本的想法就是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开。 直观来说，应该找位于两类训练样本“正中间”的划分超平面，因为其对训练样本局部扰动的“容忍”性最好。 在训练样本中，划分超平面可以通过线性方程 $\mathbb{w}^T\mat ...

paper：Adam: A Method for Stochastic Optimization 论文链接： 如上算法所述，在确定了参数 $\alpha$,$\beta_1$,$\beta_2$和随机目标函数 $f(\theta)$ 之后，我们需要初始化参数向量、一阶矩向量、二阶矩向量和时间步。然 ...

决策树定义 决策树是基于输结构来进行决策的一类常见的机器学习分类方法。 解决问题 “当前样本属于正类吗？” “这是好瓜吗？” “它的根蒂是什么形态” 决策过程的最终结论（叶子节点）对应了我们所希望的判定结果：好瓜 or 坏瓜 结构 1.一个根节点和若干个内部节点：分别对应一个属性测试 2.若干个叶 ...

本片博客总结paper CFGAN。 《CFGAN: A Generic Collaborative Filtering Framework based on Generative Adversarial Networks》 from CIKM 2018 contribution: GAN-bas ...

train loss与test loss结果分析 train loss 不断下降，test loss不断下降，说明网络仍在学习; train loss 不断下降，test loss趋于不变，说明网络过拟合; train loss 趋于不变，test loss不断下降，说明数据集100%有问题; tr ...

基本形式 example: $\mathbb{x}=(x_1;x_2;...;x_d)$ $x_i$是 $\mathbb{x}$ 在第i个属性上的取值线性模型试图学得$f(\mathbb{x})=\mathbb{w}^T\mathbb{x}+b$ 来预测函数，$\mathbb{w}$ 和 $b$ 为 ...

绪论 机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。经验即数据。 机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型”的算法，learning algorithms.再用模型来预测未来数据。 术语 记录： 数据集：记录的集合 训练：从数据中学习模型的过程 训练集：训练 ...

introduction def top_k(input, k=1, sorted=True, name=None) Finds values and indices of the k largest entries for the last dimension. If the input is a ...

tensorflow 用集合collection组织不同类别的对象，tf.GraphKeys中包含了所有默认集合的名称。 collection在对应的scope内提供了“零存整取”的思想：任意位置，任意层次的对象，统一提取。 tf.optimizer只优化tf.GraphKeys.TRAINABLE ...

西瓜书，南瓜书 一元线性回归 最小二乘法推导 b的公式推导（3.6，3.8） （二元函数求最值） 1.由最小二乘法导出损失函数E（w,b） 2.证明损失函数是关于w,b的凸函数 3.对损失函数关于B求偏导数 4.另一接偏导数为0求b 由最小二乘法导出损失函数： $E_{w,b}=\sum_{i=1} ...