Register
> 博客>

线性回归python实现代码

新速特源码 6月12日 30 0

以下是一个简单的线性回归Python实现代码：

import numpy as np

class LinearRegression:
    def __init__(self, learning_rate=0.01, n_iterations=1000):
        self.learning_rate = learning_rate
        self.n_iterations = n_iterations
        self.weights = None
        self.bias = None

    def fit(self, X, y):
        n_samples, n_features = X.shape
        self.weights = np.zeros(n_features)
        self.bias = 0
        for _ in range(self.n_iterations):
            y_predicted = np.dot(X, self.weights) + self.bias
            dw = (1 / n_samples) * np.dot(X.T, (y_predicted - y))
            db = (1 / n_samples) * np.sum(y_predicted - y)
            self.weights -= self.learning_rate * dw
            self.bias -= self.learning_rate * db

    def predict(self, X):
        y_predicted = np.dot(X, self.weights) + self.bias
        return y_predicted

这个类包含了两个方法：fit和predict。fit方法用于训练模型，predict方法用于预测新的数据点。

在fit方法中，我们首先初始化权重和偏置为0。然后，我们使用梯度下降算法来更新权重和偏置，以最小化损失函数。在每次迭代中，我们计算预测值和实际值之间的误差，并使用该误差来计算权重和偏置的梯度。最后，我们使用学习率乘以梯度来更新权重和偏置。

在predict方法中，我们使用训练后的权重和偏置来预测新的数据点。

使用示例：

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

# 加载数据集
boston = load_boston()
X, y = boston.data, boston.target

# 数据标准化
scaler = StandardScaler()
X = scaler.fit_transform(X)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练模型
model = LinearRegression()
model.fit(X_train, y_train)

# 预测测试集
y_pred = model.predict(X_test)

# 计算均方误差
mse = np.mean((y_pred - y_test)**2)
print("均方误差：", mse)

这个示例使用波士顿房价数据集来训练和测试模型。我们首先对数据进行标准化，然后将数据集划分为训练集和测试集。接下来，我们使用训练集来训练模型，并使用测试集来评估模型的性能。最后，我们计算均方误差来评估模型的性能。

接下来我会。

在上面的代码中，我们使用了梯度下降算法来更新权重和偏置。梯度下降算法是一种常用的优化算法，用于最小化损失函数。在每次迭代中，我们计算预测值和实际值之间的误差，并使用该误差来计算权重和偏置的梯度。最后，我们使用学习率乘以梯度来更新权重和偏置。

在实际应用中，我们通常会使用更高级的优化算法来训练模型，例如随机梯度下降、批量梯度下降、Adam等。这些算法可以更快地收敛，并且可以避免梯度下降算法中的一些问题，例如局部最小值和梯度消失等。

另外，我们还可以使用正则化技术来避免过拟合问题。正则化技术可以通过添加惩罚项来限制模型的复杂度，从而避免过拟合。常用的正则化技术包括L1正则化和L2正则化。

最后，我们还可以使用交叉验证技术来评估模型的性能。交叉验证技术可以将数据集划分为多个子集，并使用这些子集来训练和测试模型。这样可以更准确地评估模型的性能，并避免过拟合问题。

希望这些信息能够对你有所帮助。如果你还有其他问题，请随时提出。

腾讯云最新优惠活动，点击查看

Related

热门文章

微海报