机器学习:各种优化器Optimizer的总结与比较

机器学习:各种优化器Optimizer的总结与比较
优化器总结 机器学习中,有很多优化方法来试图寻找模型的最优解。比如神经网络中可以采取最基本的梯度下降法。 梯度下降法(Gradient Descent) 梯度下降法是最基本的一类优化器,目前主要分为三种梯度下降法:标准梯度下降法(GD, Gradient Descent),随机梯度下降法(SGD, Stochastic Gradient Descent)及批量梯度下降法(BGD, Batch Gradient Descent)。 1. 标准梯度下降法(G...

机器学习:过拟合、神经网络Dropout

机器学习:过拟合、神经网络Dropout
过拟合 过拟合现象 机器学习中,过拟合现象就是训练模型高度适用于训练集,而对测试集或未知数据集效果不好的情况。表现为训练集过度拟合具有高准确率,而测试集的准确率明显低于测试集。 防止过拟合 防止过拟合的方法有:增加数据集,正则化方法以及Dropout方法。 1. 增加数据集 数据挖掘中,数据量越多,对模型参数调整就越准确。多的数据往往比好的训练模型要重要,因...

TensorFlow之tf.keras的基础分类

TensorFlow之tf.keras的基础分类
出自:https://www.tensorflow.org/tutorials/keras/basic_classification 本指南训练神经网络模型,对运动鞋和衬衫等服装图像进行分类。如果您不了解所有细节,这是可以的,这是一个完整的TensorFlow程序的快节奏概述,详细解释了我们的细节。 本指南使用tf.keras,一个高级API,用于在TensorFlow中构建和训练模型。 一、导入库 主要使用的3个库: # TensorFlow and tf.ker...

使用tf.data.Dataset.from_tensor_slices五步加载数据集

使用tf.data.Dataset.from_tensor_slices五步加载数据集
前言: 最近在学习tf2 数据加载感觉蛮方便的 这里记录下使用 tf.data.Dataset.from_tensor_slices 进行加载数据集. 使用tf2做mnist(kaggle)的代码 思路 Step0: 准备要加载的numpy数据 Step1: 使用 tf.data.Dataset.from_tensor_slices() 函数进行加载 Step2: 使用 shuffle() 打乱数据 Step3: 使用 map() 函数进行预处理 Step4: 使用 batch() 函数设置 batch size 值 Step5:...

Tensorflow中数据集的使用方法(tf.data.Dataset)

Tensorflow中数据集的使用方法(tf.data.Dataset)
看此文章时建议配合【Tensorflow中数据集的使用方法(tf.data.Dataset)】一同观看。 使用Dataset管理数据集需要首先定义数据来源,我们可以使用numpy或者tensor定义的数据作为数据来源来定义Dataset,假设我们有如下numpy定义的代码。 1、引入必要的包 import numpy as np import tensorflow as tf 2、使用numpy构造数据集 seed = 1000 # 定义随机数产生的方式 data_si...

股票预测标签问题总结

股票预测标签问题总结
总结目前进行股票预测问题的代码可以发现,针对股票预测一共有两种类型的预测方法(或者说两种不同的预测问题去采用LSTM进行解决)。 一种就是采用开盘价、成交量等相关特征去预测收盘价(也叫多变量时间序列预测),数据和预测结果如图所示: 这是我从网上随意找的数据类型,也是我最初开始学习LSTM股票预测最先接触的方法和数据类型。利用高维度特征进行股票预测当然具有...

归一化 z-score标准化

归一化  z-score标准化
Min-max标准化公式为:新数据=(原始数据-最小值)/(最大值-最小值) Z-score标准化公式为:新数据=(原始数据-均值)/ 标准差 z-score标准化 z-score标准化是将数据按比例缩放,使之落入一个特定区间。 要求:均值 μ = 0 ,σ = 1 标准差公式: image z-score标准化转换公式: image 归一化 归一化:把数变为(0,1)之间的小数 归一化公式: image 这...

Tensorflow:基于LSTM的股票预测模型对股票的收盘价进行预测(Keras实现)

Tensorflow:基于LSTM的股票预测模型对股票的收盘价进行预测(Keras实现)
LSTM全称长短期记忆人工神经网络(Long-Short Term Memory),是对RNN的变种。 长短期记忆模型(long-short term memory)是一种特殊的RNN模型,是为了解决反向传播过程中存在梯度消失和梯度爆炸现象,通过引入门(gate)机制,解决了RNN模型不具备的长记忆性问题 传统的线性模型难以解决多变量或多输入问题,而神经网络如LSTM则擅长于处理多个变量的问题,该特性使其有助于...

PyCharm SyntaxError: Missing parentheses in call to ‘exec’

PyCharm  SyntaxError: Missing parentheses in call to ‘exec’
今天运行测试文件,发现pycharm报错。 Traceback (most recent call last): File "C:\Program Files\JetBrains\PyCharm2020\plugins\python\helpers\pydev\_pydevd_bundle\pydevd_console_integration.py", line 4, in from code import InteractiveConsole ImportError: cannot import name 'InteractiveConsole' from 'code' (D:\xxxxx\xxxxx\code.py) Durin...