主页

这一节将会分析一下梯度下降算法的理论知识。 梯度下降回顾 首先回顾一下，我们在进行梯度下降的时候需要解决下面这个带有损失函数的优化问题： 其中$L$是损失函数，$\theta$是模型的参数。也就是找到一个最好的参数能够让损失函数最小。假设参数有两个：${\theta_1,\theta_2}$，我们用梯度下降法从一个随机的初始状态开始$\boldsymbol{\theta}_0=\begin{bmatrix}\theta_1^0 \\ \theta_2^0\end{bmatrix}$，然后按照下面的方式将$\theta^0$向$\theta^1$更新： 其中 然后这个步骤反复不断进行 梯度下降的Tips Tips 1: 调整学习率 如果学习率太低，梯度下降...

线性回归 回归通常是指在给定一个输入之后，模型给出一个数值作为输出。例如股票预测在输入之前的走势后给出对当天股价的预测。 典型的回归模型通常包括下面几个部分 模型 对于一个特定任务来说，存在一个包含了大量函数的function set。这些函数就是处理这个任务的模型。例如 就是一个线性模型。 函数的“好坏” 当我们有一系列训练数据之后，我们就要定义如何判断一个模型$f$的“好坏”。这个评价函数的函数就是损失函数：输入一个函数（函数内部由参数决定），输出这个输入的函数有多“差”。例如可以用下面这个函数作为损失函数： 通过调整模型$f$的参数$w$和$b$，相当于从函数集合中“挑选”不同的模型。而我们的目的是想要挑出最好的函数$f^*$，即： 即“在函数集合中...

最近在复习Machine Learning，发现对于很多平时觉得“理所应当”的东西，其背后还有很多深入的理论细节需要深入思考。于是拿出了李宏毅老师机器学习课程的相关资料仔细学习。 这一系列Post将会围绕Machine Learning/Deep Learning的一系列基本概念进行回顾和整理。参考资料以李宏毅老师的机器学习课程为主，也会有其他的内容和一些自己的理解等。 Introduction of Machine Learning 人工智能是一个目标，而机器学习则是达成这个目标的手段，深度学习则是这个手段的一种方法。 在出现深度学习和机器学习之前，生物如何进行“智能”？一是先天本能，二是后天学习。对于机器来说也是相同：机器的先天本能是机器的创造者（人类）预先设计好，...

这个Blog使用的是TeXt模板，模板、Markdown以及Jekyll本身包含很多用法。这篇文章汇总了TeXt Demo Site里面的文章。

之前搭过很多Blog，不过经常会因为各种原因（主要是服务器忘记续费。。。）丢失数据。这回尝试用Github Pages来做Blog的托管，至少不会丢数据了。 使用的Blog系统是Jekyll。这是一个纯静态Blog框架。写文章如同写代码，用Markdown写好文章通过Jekyll编译生成静态页面。Github Pages则可以对上传在Repository中的Markdown自动进行编译。 这篇文章主要是列举一下和写Blog相关的各种Cheat Sheet备忘。