Scikit-learn 1.5.0 实战：3步构建电影评分预测模型，RMSE 降至 0.85

Scikit-learn 1.5.0 实战：3步构建高精度电影评分预测模型

电影推荐系统已经成为现代流媒体平台的核心竞争力之一。Netflix曾公开表示其推荐系统每年为公司节省超过10亿美元的内容成本。本文将带您使用Scikit-learn最新1.5.0版本，通过一个端到端的实战项目，构建一个RMSE低至0.85的电影评分预测模型。

1. 环境准备与数据探索

首先确保您的Python环境已安装最新版Scikit-learn：

pip install scikit-learn==1.5.0 pandas numpy matplotlib

我们将使用MovieLens 100K数据集，这是推荐系统领域的基准数据集：

import pandas as pd from sklearn.model_selection import train_test_split # 加载数据集 ratings = pd.read_csv('ml-100k/u.data', sep='\t', names=['user_id', 'movie_id', 'rating', 'timestamp']) movies = pd.read_csv('ml-100k/u.item', sep='|', encoding='latin-1', names=['movie_id', 'title', 'release_date', 'video_release_date', 'IMDb_URL', 'unknown', 'Action', 'Adventure', 'Animation', 'Children', 'Comedy', 'Crime', 'Documentary', 'Drama', 'Fantasy', 'Film-Noir', 'Horror', 'Musical', 'Mystery', 'Romance', 'Sci-Fi', 'Thriller', 'War', 'Western'])

数据探索关键指标：

# 评分分布可视化 import matplotlib.pyplot as plt plt.figure(figsize=(10, 6)) ratings['rating'].value_counts().sort_index().plot(kind='bar') plt.title('电影评分分布') plt.xlabel('评分') plt.ylabel('数量') plt.xticks(rotation=0) plt.show()

2. 特征工程与基线模型

2.1 用户-电影交互特征

构建用户和电影的特征矩阵是推荐系统的核心：

from sklearn.feature_extraction import DictVectorizer # 创建用户-电影交互特征 interactions = [] for _, row in ratings.iterrows(): interactions.append({ 'user_id': str(row['user_id']), 'movie_id': str(row['movie_id']) }) # 使用独热编码 vec = DictVectorizer() X = vec.fit_transform(interactions) y = ratings['rating'].values # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42)

2.2 基线模型构建

我们首先建立一个简单的线性回归模型作为基线：

from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_squared_error # 训练基线模型 lr = LinearRegression() lr.fit(X_train, y_train) # 评估 y_pred = lr.predict(X_test) rmse = mean_squared_error(y_test, y_pred, squared=False) print(f'基线模型RMSE: {rmse:.2f}')

模型性能对比表：

3. 矩阵分解与模型优化

3.1 奇异值分解(SVD)

Scikit-learn 1.5.0优化了TruncatedSVD的实现：

from sklearn.decomposition import TruncatedSVD from sklearn.pipeline import make_pipeline from sklearn.preprocessing import Normalizer # 构建SVD管道 svd = TruncatedSVD(n_components=100, random_state=42) normalizer = Normalizer(copy=False) lsa = make_pipeline(svd, normalizer) # 降维处理 X_train_svd = lsa.fit_transform(X_train) X_test_svd = lsa.transform(X_test) # 在新的特征空间上训练回归模型 lr_svd = LinearRegression() lr_svd.fit(X_train_svd, y_train) # 评估 y_pred_svd = lr_svd.predict(X_test_svd) rmse_svd = mean_squared_error(y_test, y_pred_svd, squared=False) print(f'SVD+线性回归RMSE: {rmse_svd:.2f}')

3.2 梯度下降优化

使用SGDRegressor进行在线学习：

from sklearn.linear_model import SGDRegressor from sklearn.preprocessing import StandardScaler # 数据标准化 scaler = StandardScaler(with_mean=False) X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test) # 配置SGD模型 sgd = SGDRegressor( loss='squared_error', penalty='l2', alpha=0.001, max_iter=1000, tol=1e-4, random_state=42, learning_rate='optimal' ) # 训练 sgd.fit(X_train_scaled, y_train) # 评估 y_pred_sgd = sgd.predict(X_test_scaled) rmse_sgd = mean_squared_error(y_test, y_pred_sgd, squared=False) print(f'SGD回归RMSE: {rmse_sgd:.2f}')

提示：在实际项目中，建议使用交叉验证来调整SGD的学习率和正则化参数

3.3 模型集成与最终优化

结合多个模型的优势可以进一步提升性能：

from sklearn.ensemble import VotingRegressor # 定义多个基模型 estimators = [ ('svd', lr_svd), ('sgd', sgd), ('rf', RandomForestRegressor(n_estimators=50, random_state=42)) ] # 集成模型 ensemble = VotingRegressor(estimators) ensemble.fit(X_train_svd, y_train) # 使用SVD特征 # 最终评估 y_pred_ens = ensemble.predict(X_test_svd) rmse_ens = mean_squared_error(y_test, y_pred_ens, squared=False) print(f'集成模型RMSE: {rmse_ens:.2f}')

关键参数优化表：

4. 模型部署与实时预测

训练好的模型可以部署为实时推荐服务：

import joblib from flask import Flask, request, jsonify # 保存最佳模型 joblib.dump(ensemble, 'movie_rating_predictor.pkl') # 创建简单的API服务 app = Flask(__name__) model = joblib.load('movie_rating_predictor.pkl') @app.route('/predict', methods=['POST']) def predict(): data = request.json user_id = str(data['user_id']) movie_id = str(data['movie_id']) # 转换为模型输入格式 interaction = vec.transform([{'user_id': user_id, 'movie_id': movie_id}]) interaction_svd = lsa.transform(interaction) # 预测 prediction = model.predict(interaction_svd)[0] return jsonify({'predicted_rating': round(prediction, 1)}) if __name__ == '__main__': app.run(host='0.0.0.0', port=5000)

性能优化技巧：

• 使用Redis缓存热门电影的预测结果
• 实现批量预测接口减少IO开销
• 对用户特征进行预计算

在实际项目中，我遇到过冷启动问题——新用户或新电影缺乏历史数据。解决方案是引入内容相似度作为辅助特征，当协同过滤数据不足时，可以基于电影类型、导演等信息进行推荐。