人工智能AI：TensorFlow Keras PyTorch MXNet PaddlePaddle 深度学习实战 part1 人工智能AI：TensorFlow Keras PyTorch MXNet PaddlePaddle 深度学习实战 part2 C/C++ 笔记、Python 笔记、JavaWeb + 大数据 笔记 TensorFlow张量间运算的广播机制、numpy数组间运算的广播机制 在Numpy/Pandas 和在 Tensorflow、Keras等一系列的AI框架中的 axis轴的取值的不同 用于回归问题的模型评价：MSE、RMSE、MAE、R-Squared 非极大值抑制NMS(Non Maximum Suppression) 池化层。Flatten、Reshape。batch、repeat、steps_per_epoch、epochs。tensorboard、ModelCheckpoint ImageDataGenerator.flow_from_directory(…) 手势识别：使用EfficientNet模型迁移、VGG16模型迁移 OpenCV：python调用摄像头同时使用OpenCV中自带已训练好的检测器来检测实时图像中的人脸和眼睛 googlenet提出的Inception结构优势、softmax的BP推导/交叉熵损失的BP推导 神经网络的梯度消失/梯度爆炸问题、神经网络的过拟合问题、卷积网络输出大小计算/感受野计算、激活函数、sgd/momentum/rmsprop/adam优化算法 反卷积/转置卷积Conv2DTranspose、空洞卷积 的特点及其应用 使用 Keras 定义简单神经网络来识别 MNIST 手写数字的网络 数据结构与算法(java/python/C实现)：时间复杂度、冒泡排序、选择排序、插入排序、希尔排序、快速排序、归并排序、二叉树、队列、链表、栈 spark-scala调用tensorflow2.0训练好的模型 CNN：RCNN、SPPNet、Fast RCNN、Faster RCNN、YOLO V1 V2 V3、SSD、FCN、SegNet、U-Net、DeepLab V1 V2 V3、Mask RCNN 损失函数(交叉熵损失cross-entropy、对数似然损失、多分类SVM损失(合页损失hinge loss))、Softmax分类器和交叉熵损失cross-entropy 浅层神经网络/深层神经网络的前向传播与反向传播计算过程、非线性的激活函数(Sigmoid、Tanh、Relu、Leaky ReLU)、参数与超参数 局部最优、梯度消失、鞍点、海森矩阵(Hessian Matric)、批梯度下降算法(btach批梯度下降法BGD、小批量梯度下降法Mini-Batch GD、随机梯度下降法SGD) 动量梯度下降(Momentum、指数加权平均)、逐参数适应学习率方法(Adagrad、RMSprop、Adam)、学习率退火、归一化/标准化 偏差与方差、L1正则化、L2正则化、dropout正则化、神经网络调优、批标准化Batch Normalization(BN层)、Early Stopping、数据增强 卷积神经网络CNN、感受野、边缘检测、卷积层(零填充padding、步长、多通道卷积、多卷积核)、池化层Pooling、全连接层 LeNet-5、AlexNet、NIN、VGG(VGG16、VGG19)、GoogLeNet(Inception v1 v2 v3 v4)、Xception、ResNet、DenseNet 深度学习框架 TensorFlow：张量、自动求导机制、tf.keras模块(Model、layers、losses、optimizer、metrics)、多层感知机(即多层全连接神经网络 MLP) Keras 实现卷积神经网络识别手写数字、迁移学习以及tf.keras.applications使用 Keras的Sequential/Functional API两种方式构建模型、保存模型/权重和恢复模型/权重、自定义 层Layer/损失函数Loss/评估指标Metric callbacks回调函数(Checkpoint、TensorBoard)、tf.data、ImageDataGenerator Tensorflow执行模式：Eager Execution动态图模式、Graph Execution图模式、@tf.function实现Graph Execution图模式、tf.Session TensorFlow分布式训练：单机多卡训练MirroredStrategy、多机训练MultiWorkerMirroredStrategy 垃圾分类、EfficientNet模型、数据增强(ImageDataGenerator)、混合训练Mixup、Random Erasing随机擦除、标签平滑正则化、tf.keras.Sequence 垃圾分类、EfficientNet模型B0~B7、Rectified Adam(RAdam)、Warmup、带有Warmup的余弦退火学习率衰减 tf.saved_model.save模型导出、TensorFlow Serving模型部署、TensorBoard中的HParams 超参数调优 目标检测：Faster R-CNN、Faster RCNN接口 目标检测：YOLO V1、YOLO V2、YOLO V3 算法 KITTI自动驾驶数据集的训练和检测过程(人、车检测案例)、KITTI数据集的TFRecord格式存储、YOLO V3/Yolo V3 Tiny 迁移学习 目标分割：FCN全卷积网络、上采样upsample、反卷积/转置卷积Conv2DTranspose、跳跃连接skip layers实现融合预测fusion prediction 目标分割：DeepLab V1、DeepLab V2、DeepLab V3、DeepLab V3+、ASPP/ASPP+、Encoder-Decoder、CRF OpenCV：图像读取/保存、绘制直线/圆形/矩形、获取并修改图像中的像素点、图像通道的拆分与合并 OpenCV 图像处理：几何变换、图像缩放、图像平移、图像旋转、仿射变换、透射变换、图像金字塔 OpenCV 图像处理：形态学操作、连通性、腐蚀和膨胀、开运算/闭运算、礼帽和黑帽 OpenCV 图像平滑：椒盐噪声、高斯噪声、平均滤波、高斯滤波、中值滤波 OPenCV：傅里叶变换、时域和频域、频谱和相位谱、傅里叶级数、离散傅里叶变换(DFT)、频域滤波、高通和低通滤波器、带通和带阻滤波器 OpenCV：轮廓检测、查找轮廓、绘制轮廓、凸包、图像的矩特征 OpenCV：图像分割、阈值分割、全阈值分割、自适应阈值分割、Otsu 阈值(大津法)、分水岭算法、GrabCut算法 OpenCV：边缘检测、Sobel检测算子、Laplacian算子、Canny边缘检测 OpenCV 图像特征提取：角点特征、Harris和Shi-Tomas算法、SIFT/SURF算法、Fast和ORB算法 OpenCV：视频追踪、meanshift算法、Camshift算法 OpenCV：人脸检测、Haar特征分类器、OpenCV中自带已训练好的检测器 自动驾驶：车道线检测、车速检测、实时通行跟踪、基于视频的车辆跟踪及流量统计 车流量检测实现：多目标追踪、卡尔曼滤波器、匈牙利算法、SORT/DeepSORT、yoloV3、虚拟线圈法、交并比IOU计算 多目标追踪：DBT、DFT、基于Kalman和KM算法的后端优化算法、SORT/DeepSORT、基于多线程的单目标跟踪的多目标跟踪算法KCF 相机校正、张氏标定法、极大似然估计/极大似然参数估计、牛顿法、高斯牛顿法、LM算法、sin/cos/tan/cot 单目标跟踪 Siamese系列网络：SiamFC、SiamRPN、one-shot跟踪、one-shotting单样本学习、DaSiamRPN、SiamRPN++、SiamMask Adaboost 人脸检测：Haar特征及积分图、分类器的级联 关键点提取：face_recognition、疲劳检测、人脸校准、人脸数据库 调用摄像头使用face_recognition 或 opencv中haar人脸特征实时检测识别人脸、给人脸打马赛克/给人脸贴图 face_recognition、opencv中haar人脸特征：视频/图片 进行 人脸检测/人脸识别 使用face_recognition：摄像头实时给人脸打马赛克、疲劳检测、活体检测(张嘴检测)、计算两张人脸之间的相似度、人脸校准 Pytorch 基础模型：nn.Module、nn.Sequential、优化器类、常见的损失函数 优化算法：梯度下降算法BGD、随机梯度下降法SGD、小批量梯度下降MBGD、动量法、AdaGrad、RMSProp。避免过拟合/加速训练：Dropout、Batch Normalization Pytorch 数据加载：Dataset、DataLoader、自带数据集(MNIST数据集) Pytorch：jieba分词、hanlp分词、词性标注、命名实体识别、one-hot、Word2vec(CBOW、skipgram)、Word Embedding词嵌入、fasttext Pytorch 文本数据分析方法(标签数量分布、句子长度分布、词频统计、关键词词云)、文本特征处理(n-gram特征、文本长度规范)、文本数据增强(回译数据增强法) Pytorch：使用 Embedding 嵌入层 进行 新闻主题分类任务 Pytorch：RNN、LSTM、GRU、Bi-GRU、Bi-LSTM、梯度消失、梯度爆炸 Pytorch：嵌入层Embedding、EmbeddingBag Pytorch：BatchNorm1d、BatchNorm2d、BatchNorm3d Pytorch：RNN、LSTM、GRU 构建人名分类器（one-hot版本、Embedding嵌入层版本） Pytorch：解码器端的Attention注意力机制、seq2seq模型架构实现英译法任务 Pytorch：Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part1 Pytorch：Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part2 Pytorch：transpose、view、t()、contiguous() Pytorch：model.train、model.eval、with torch.no_grad torch.hub.load自动下载预训练模型文件用以加载预训练模型 bert-base-uncased-pytorch_model.bin 微调脚本文件 transformers：transformers-cli login、transformers-cli upload Pytorch：NLP 迁移学习、NLP中的标准数据集、NLP中的常用预训练模型、加载和使用预训练模型、huggingface的transfomers微调脚本文件 BahdanauAttention注意力机制：基于seq2seq的西班牙语到英语的机器翻译任务、解码器端的Attention注意力机制、seq2seq模型架构 BahdanauAttention注意力机制、LuongAttention注意力机制 tf.keras.losses.SparseCategoricalCrossentropy python命令执行run_glue.py模型微调文件进行微调模型 tf.random.categorical、温度参数temperature 应用于bert模型的动态量化技术(使用动态量化技术对训练后的bert模型进行压缩)、使用huggingface中的预训练BERT模型进行微调、模型压缩技术中的动态量化与静态量化 保存没有压缩的原始模型和及其模型状态、保存压缩后的模型和及其模型状态、加载没有压缩的原始模型文件和及其模型状态、加载压缩后的模型和及其模型状态 图片的描述生成任务、使用迁移学习实现图片的描述生成过程、CNN编码器+RNN解码器(GRU)的模型架构、BahdanauAttention注意力机制、解码器端的Attention注意力机制 IMDB影评的情感分析任务：双层bi-LSTM模型(双向LSTM) 在线聊天的总体架构与工具介绍：Flask web、Redis、Gunicorn服务组件、Supervisor服务监控器、Neo4j图数据库 在线部分：werobot服务、主要逻辑服务、句子相关模型服务、BERT中文预训练模型+微调模型（目的：比较两句话text1和text2之间是否有关联）、模型在Flask部署 离线部分+在线部分：命名实体审核任务RNN模型、命名实体识别任务BiLSTM+CRF模型、BERT中文预训练+微调模型、werobot服务+flask 简述BERT模型的训练过程、BERT模型在推断过程中做了哪些性能优化、BERT模型在训练过程中做了哪些性能优化 fasttext模型在大量类别上能够快速训练的原因、为了提升fasttext模型的评估指标做了哪些优化 在某个模型训练过程中遇到的难题及其解决办法、对自动超参数调优方法的理解、模型部署时如何实现热更新、说一说最近看过的一篇论文 Pytorch：Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part1 Pytorch：Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part2 Pytorch：解码器端的Attention注意力机制、seq2seq模型架构实现英译法任务 BahdanauAttention注意力机制、LuongAttention注意力机制 BahdanauAttention注意力机制：基于seq2seq的西班牙语到英语的机器翻译任务、解码器端的Attention注意力机制、seq2seq模型架构 图片的描述生成任务、使用迁移学习实现图片的描述生成过程、CNN编码器+RNN解码器(GRU)的模型架构、BahdanauAttention注意力机制、解码器端的Attention注意力机制 机器翻译 MXNet（使用含注意力机制的编码器—解码器，即 Encoder编码器-Decoder解码器框架 + Attention注意力机制） 基于Seq2Seq的中文聊天机器人编程实践（Encoder编码器-Decoder解码器框架 + Attention注意力机制） 基于Transformer的文本情感分析编程实践（Encoder编码器-Decoder解码器框架 + Attention注意力机制 + Positional Encoding位置编码） 人工智能概述、人工智能发展历程、人工智能主要分支、机器学习工作流程、完整机器学习项目的流程、机器学习算法分类、独立同分布、模型评估、深度学习简介 距离度量：欧式距离/曼哈顿距离/切比雪夫距离/闵可夫斯基距离/标准化欧氏距离/余弦距离/汉明距离/杰卡德距离/马氏距离 数据分割：留出法train_test_split、留一法LeaveOneOut、GridSearchCV(交叉验证法+网格搜索)、自助法 梯度下降：全梯度下降算法(FG)、随机梯度下降算法(SG)、小批量梯度下降算法(mini-batch)、随机平均梯度下降算法(SAG)。梯度下降法算法比较和进一步优化。 正则化线性模型：岭回归Ridge Regression(即线性回归的改进)、lasso回归(Lasso Regression)、弹性网络(Elastic Net)、Early Stopping 分类中解决类别不平衡问题：imbalanced-learn、过采样、欠采样 分类评估方法：精确率与召回率。ROC曲线与AUC指标、ROC曲线图绘制。 特征工程-特征提取：字典特征提取、文本特征提取、jieba分词处理、Tf-idf文本特征提取 集成学习：Bagging、随机森林、Boosting、GBDT Sklearn：天池新人实战赛o2o优惠券使用预测 part1 Sklearn：天池新人实战赛o2o优惠券使用预测 part2 Sklearn：天池新人实战赛o2o优惠券使用预测 part3 安装双系统：win10安装Ubuntu 18.04.4、ubuntu安装NVIDIA显卡驱动 Ubuntu 安装 CUDA、cuDNN、anaconda、tensorflow、pytorch、JDK1.8 Anaconda3 python 3.7、TensorFlow2、CUDA10、cuDNN7.6.5 window下安装 Keras、TensorFlow（先安装CUDA、cuDNN，再安装Keras、TensorFlow） 强化学习平台安装 Mujoco、mujoco-py、gym、baseline linux Centos 安装 Tensorflow GPU版本 安装教程 mongodb：安装cmake、mongodb、mongodb的C驱动、C++驱动 ValueError: Object arrays cannot be loaded when allow_pickle=False 报错 ValueError: setting an array element with a sequence. 报错AttributeError: ‘Tensor’ object has no attribute ‘numpy’ 报错：ValueError: Duplicate plugins for name projector 报错：No registered ‘swish_f32’ OpKernel for GPU devices compatible with node 报错：tensorflow.python.eager.core._FallbackException 报错：Make sure that your dataset or generator can generate at least `steps_per_epoch * epochs` 报错：报错文件路径 Anaconda3libmultiprocessing… 报错：ResourceExhaustedError OOM when allocating 报错：AttributeError: module ‘tensorflow_core._api.v2.io.gfile’ has no attribute ‘get_filesystem’ 报错：RuntimeError: Expected object of backend CUDA but got backend CPU for argument #3 ‘index’ 报错：RuntimeError: Adam does not support sparse gradients, please consider SparseAdam instead RuntimeError: exp_vml_cpu not implemented for ‘Long’ RuntimeError: expected device cpu and dtype Float but got device cpu and dtype Long Expected tensor for argument #1 ‘indices’ to have scalar type Long;but got torch.IntTensor instead 报错：TypeError: unexpected keyword argument ‘autotuneValidationFile’ linux执行脚本文件 /usr/bin/env: “pythonr”: 没有那个文件或目录 /usr/bin/env: “pythonr”: No such file or directory AttributeError: module ‘torch’ has no attribute ‘quantization’ ModuleNotFoundError: No module named “pip” 报错 error: (-215:Assertion failed) !_src.empty() in function cv::cvtColor AttributeError: DataFrame object has no attribute dtype DataConversionWarning: Data was converted to boolean for metric jaccard。warnings.warn(msg, DataConve Warning警告到底要不要解决、Warning警告潜在的问题 UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 in labels with no
日萌社
CV
NLP
Encoder编码器-Decoder解码器框架 + Attention注意力机制
注意：这一文章“基于Transformer的文本情感分析编程实践（Encoder编码器-Decoder解码器框架 + Attention注意力机制 + Positional Encoding位置编码）” 该文章实现的Transformer的Model类型模型，实际是改造过的特别版的Transformer，因为Transformer的Model类型模型中只实现了Encoder编码器， 而没有对应实现的Decoder解码器，并且因为当前Transformer的Model类型模型处理的是分类任务， 所以我们此处只用了Encoder编码器来提取特征，最后通过全连接层网络来拟合分类。
机器学习（Sklearn）
个性化推荐系统
安装
数据库
报错解决
本网页所有视频内容由 imoviebox边看边下-网页视频下载, iurlBox网页地址收藏管理器 下载并得到。
ImovieBox网页视频下载器 下载地址: ImovieBox网页视频下载器-最新版本下载
本文章由: imapbox邮箱云存储,邮箱网盘,ImageBox 图片批量下载器,网页图片批量下载专家,网页图片批量下载器,获取到文章图片,imoviebox网页视频批量下载器,下载视频内容,为您提供.
阅读和此文章类似的: 全球云计算
官方软件产品操作指南 (170)
2万+