发表了博客
2018/08/25 10:04

Stepwise regression 学习笔记

之前在 SPSS 中的回归分析算法中发现,在它里面实现的算法有 Enter 和 Stepwise 两种。Enter 很容易理解,就是将所有选定的自变量一起放入模型中,直接去计算包含所有自变量的整个模型能够解释多少因变量中的变异,以及各个自变量单独的贡献有多少。但对 Stepwise regression 的理解总是很模糊,今天仔细查了一下,做下笔记。 与平时所说的 regression analysis 不太相同,stepwise regression 可以算是一种 feature extraction...

0
0
发表了博客
2018/05/29 13:07

2.1、Softmax Regression模型

Softmax Regression模型   由于Logistics Regression算法复杂度低,容易实现等特点,在工业中的到广泛的使用,但是Logistics Regression算法主要用于处理二分类问题,若需要处理的是多分类问题,如手写字的识别,即识别{0,1,2,3,4,5,6,7,8,9}中的数字,此时需要使用能够处理多分类问题的算法。   Softmax Regression算法是Logistics Regression算法在多分类问题上的推广,主要用于处理多分类问题,其中,任意两个类之间是线...

0
0
发表了博客
2018/02/28 21:44

Linear Regression with Scikit Learn

Before you read This is a demo or practice about how to use Simple-Linear-Regression in scikit-learn with python. Following is the package version that I use below: The Python version: 3.6.2 The Numpy version: 1.8.0rc1 The Scikit-Learn version: 0.19.0 The Matplotlib version: 2.0.2 Training Data Here is the training data about the Relationship between Pizza and Diameter below: training data Diam...

0
0
发表了博客
2019/04/10 10:10

回归树(Regression Tree)

[toc] 说到决策树(Decision tree),我们很自然会想到用其做分类,每个叶子代表有限类别中的一个。但是对于决策树解决回归问题,一直是一知半解,很多时候都是一带而过。 对于一个回归问题,我们第一时间想到的可能就是线性回归(linear regression),当线性回归不好的时候,可能想着用 SVR(Support Vector Regression)试试。但回归树(regression tree)也很重要,现在 shallow learning 被 SVM 和树模型统治,随机森林、G...

0
0
发表了博客
2013/11/21 23:02

Tree-based Regression 笔记

Tree-based Regression(树回归) 将数据集切分成很多份易建模的数据, 即构建树, 然后对每个叶节点上的数据集分别拟合线性模型, 从而解决当数据集拥有较多复杂特征或数据集的数据关系非线性时, 无法使用全局线性模型来拟合数据集的问题. 优点 可以对复杂和非线性的数据建模 缺点 结果不易理解 适用数据类型 数值型, 标称型 基础概念 1. 回归树与模型树 对复杂的关系建模, 一种可行的方式是使用树来对预测值分段, 包括分段常数或分...

0
0
2019/09/17 15:57

机器学习-理解Logistic Regression

微信公众号:yale记 关注可了解更多的教程问题或建议,请公众号留言。 背景介绍 本文讨论了Logistic回归的基础知识及其在Python中的实现。逻辑回归基本上是一种监督分类算法。在分类问题中,目标变量(或输出)y对于给定的一组特征(或输入)X,只能采用离散值。 与普遍看法相反,逻辑回归是一种回归模型。 该模型建立回归模型以预测给定数据条目属于编号为“1”的类别的概率。 就像线性回归假设数据遵循线性函数一样,Logisti...

0
0
发表了博客
2018/01/18 15:26

非线性回归(logistic regression)

1. 基本模型 测试数据为X(x0,x1,x2···xn) 要学习的参数为: Θ(θ0,θ1,θ2,···θn) 2. Cost函数 线性回归: 非线性回归 Logistic regression: 目标:找到合适的 θ0,θ1使上式最小 3.解法:梯度下降(gradient decent) 更新法则: 学习率: 同时对所有的θ进行更新,重复更新直到收敛 4.代码 import numpy as np import random def genData(numPoints,bias,variance): x = np.zeros(shape=(numPoints,2)) ...

0
0
发表了博客
2015/07/28 11:21

Decision_Tree && Regression Tree

Regression tree中:node split时,是穷举每一个attri的value来计算残差。如果是 node value就是这个node里面的样本均值。 决策树和回归树在 node split 时候,一个是选择最大的信息增益,一个是选择最大的残差增益。具体可以这样理解: Info(D) 就是当前node状态下的 entropy_A, 减数表示如果根据A属性进行分裂后的 entropy_B,因为 entropy 表示混乱度,节点越混乱则表示node中的类越杂,或者说残差越大(MSE),但是我们希望 ...

0
0
发表了博客
2018/03/26 04:58

Lasoo 与ridge regression 区别

lasso 也叫L1正则化 惩罚系数的绝对值   ridge 也叫L2正则化 惩罚系数的平方 ridge 惩罚后 每个系数都收缩   lasso 惩罚后,有的系数直接变成0 其他系数收缩 LASSO: least absolute selection and shrinkage operator   lasso 有变量选择的功能 =============== 共同点为: (1) 当截距项存在时,都不惩罚截距项 beta_0 = mean(y) (2) 都是有偏的 (3) 都要把系数scale后,再进行惩罚,因为 sum || beta||时,要保证fair ==...

0
0
发表了博客
2018/09/09 12:29

机器学习基础-Linear Regression

线性回归推导 简介 一般的,我们可以设线性回归的表示形式为$y=Xw$。这里我们为了简洁起见,使用增广形式,把bias作为1个作用在$1$上的权重,$X$是一个$N\times M+1$的矩阵,$N$是batch size,$M$是feature dimension;而$w$是权重,也是我们要学习的目标,$w$是$M+1\times 1$的列向量;对应的,我们已知的label信息$y$,是$N\times 1$的列向量。 我们采用平方损失函数。 形式化定义 Formula: $$y=f(X;w)=Xw$$ Taget: $$\newco...

0
0
发表了博客
2018/01/15 12:48

Linear Regression 线性回归

Motivation 问题描述 收集到某一地区的房子面积和房价的数据(x, y)42组,对于一套已知面积的房子预测其房价?   由房价数据可视化图可以看出,可以使用一条直线拟合房价。通过这种假设得到的预测值和真实值比较接近。 Model 模型 将现实的问题通过数学模型描述出来。 m 个 样本(example)组成训练集(training set),每一个样本有n个特征(feature)和一个标签(label)。目的是,通过一个数学模型(algorithm)和参数(parameters...

0
0
发表了博客
2019/08/16 16:29

pytorch1.0实现RNN for Regression

import torch from torch import nn import numpy as np import matplotlib.pyplot as plt # 超参数 # Hyper Parameters TIME_STEP = 10 # rnn time step INPUT_SIZE = 1 # rnn input size LR = 0.02 # learning rate # 生成数据 # show data steps = np.linspace(0, np.pi * 2, 100, dtype=np.float32) # float32 for converting torch FloatTensor x_np = np.sin(steps) # 输入 y_np = np.cos(steps) ...

0
0
发表了博客
2018/03/16 23:29

逻辑回归(logistic regression)

逻辑回归从线性回归引申而来,对回归的结果进行 logistic 函数运算,将范围限制在[0,1]区间,并更改损失函数为二值交叉熵损失,使其可用于2分类问题(通过得到的概率值与阈值比较进行分类)。逻辑回归要求输入的标签数据是01分布(伯努利分布),而线性回归则是对任意连续值的回归。出世:由统计学家 David Cox 在 1958 年提出。 从对数几率引入 一个事件发生的概率与不发生的概率的比值称为几率。对数几率(log odds)或称logit函数定...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页