自然语言处理阅读第二弹

发布时间：2026/7/27 22:52:04

自然语言处理阅读第二弹

HuggingFace

  • 镜像网站
  • 模型库

NLP中的自回归模型和自编码模型

  • 自回归：根据上文内容预测下一个可能的单词，或者根据下文预测上一个可能的单词。只能利用上文或者下文的信息，不能同时利用上文和下文的信息。
  • 自编码：对输入的句子随机Mask其中的单词，然后预训练过程的主要任务之一是根据上下文单词来预测这些被Mask掉的单词。同时根据上下文预测单词。
  • Sequence-to-Sequence：是encoder和decoder的结合。
    在这里插入图片描述

安装环境

在这里插入图片描述

视频

BERT架构

  • 输入的修改 在这里插入图片描述
  • 预训练任务1
    在这里插入图片描述
  • 预测任务2
    在这里插入图片描述
  • 总结
    在这里插入图片描述

李沐课程

相关新闻

【ITK库学习】使用itk库进行图像滤波ImageFilter：频域滤波

【ITK库学习】使用itk库进行图像滤波ImageFilter：频域滤波

目录 1、itkFFTConvolutionImageFilter 快速傅里叶变换计算2、扩展：itkConvolutionImageFilter.h3、itkFFTShiftImageFilter 频率转移滤波器4、itkFFTNormalizedCorrelationImageFilter FFT实现的归一化相关滤波器 1、itkFFTConvolutionImageFilter 快速傅里叶变换计…

2026/7/22 22:28:09
用python编写九九乘法表

用python编写九九乘法表

1 问题 我们在学习一门语言的过程中，都会练习到编写九九乘法表这个代码，下面介绍如何编写九九乘法表的流程。 2 方法 （1）打开pycharm集成开发环境，创建一个python文件，并编写第一行代码，主要构建…

2026/7/26 19:32:46
uniapp - 简单版本自定义tab栏切换

uniapp - 简单版本自定义tab栏切换

tab切换是APP开发最常见的功能之一，uniapp中提供了多种形式的tab组件供我们使用。对于简单的页面而言，使用tabbar组件非常方便快捷，可以快速实现底部导航栏的效果。对于比较复杂的页面，我们可以使用tab组件自由定义样式和内容 目录…

2026/7/22 5:53:38

最新新闻

ESP-IDF终极指南：从零开始掌握ESP32物联网开发框架

ESP-IDF终极指南：从零开始掌握ESP32物联网开发框架

ESP-IDF终极指南：从零开始掌握ESP32物联网开发框架 【免费下载链接】esp-idf Espressif IoT Development Framework. Official development framework for Espressif SoCs. 项目地址: https://gitcode.com/GitHub_Trending/es/esp-idf ESP-IDF（Es…

2026/7/27 22:51:51
生成式模型底层原理通关笔记

生成式模型底层原理通关笔记

生成式模型底层原理通关笔记 引言：从数据分布到生成新样本生成式模型的核心目标是从训练数据中学习潜在的概率分布 (p_{\text{data}}(x))，然后通过采样生成与训练数据类似的新样本。与判别式模型（如分类器）不同，生成式…

2026/7/27 22:51:30
深耕乌城十数载 通达管道疏通凭一级资质成乌鲁木齐戈壁管网养护 - 园子一号

深耕乌城十数载 通达管道疏通凭一级资质成乌鲁木齐戈壁管网养护 - 园子一号

家住乌鲁木齐天山区解放南路附近一处百年老院落的王大爷，曾被老房子下水问题困扰了整整三年。这片建成于上世纪五六十年代的老式院落，铸铁排水管道历经近百年风沙盐碱侵蚀，内壁早已锈蚀凹凸、结垢增厚，加上日常烹饪…

2026/7/27 22:51:30
3分钟搞定专业歌词下载：网易云QQ音乐无损歌词获取全攻略

3分钟搞定专业歌词下载：网易云QQ音乐无损歌词获取全攻略

3分钟搞定专业歌词下载：网易云QQ音乐无损歌词获取全攻略 【免费下载链接】163MusicLyrics 云音乐歌词获取处理工具【网易云、QQ音乐】 项目地址: https://gitcode.com/GitHub_Trending/16/163MusicLyrics 还在为找不到高质量歌词而烦恼吗？音乐歌词…

2026/7/27 22:51:30
C2000 EMIF外部存储器接口实战：从选型、硬件设计到软件优化全解析

C2000 EMIF外部存储器接口实战：从选型、硬件设计到软件优化全解析

1. 项目概述与EMIF核心价值 在嵌入式系统开发，尤其是基于TI C2000系列微控制器的项目中，我们常常会遇到一个经典瓶颈：片上存储资源不够用了。无论是复杂的电机控制算法、大量的数据采集缓存，还是日益臃肿的应用代码，都…

2026/7/27 22:51:24
Windows 11 OOBE配置全解析：从系统优化到企业部署

Windows 11 OOBE配置全解析：从系统优化到企业部署

1. 开箱体验的系统级意义 Windows 11的OOBE（Out of Box Experience）远不止是简单的安装向导，它实际上是操作系统与用户的第一次深度对话。这个看似流程化的设置过程，会永久影响系统后续的更新策略、隐私设置、功能权限等核心行为。…

2026/7/27 22:51:24

日新闻

SolidWorks许可证预测优化：数据驱动降本增效

SolidWorks许可证预测优化：数据驱动降本增效

1. 项目背景与核心价值在工业设计领域，SolidWorks作为三维CAD软件的标杆产品，其许可证管理一直是企业IT成本管控的痛点。某中型制造企业曾因许可证短缺导致项目延期，而另一家则因过度采购造成每年近20万元的资源浪费——这正是我们开发这套预…

2026/7/27 0:00:07
OpenClaw开源智能体网关：AI助手与即时通讯的完美融合

OpenClaw开源智能体网关：AI助手与即时通讯的完美融合

1. 项目概述：当AI助手遇上即时通讯上周在调试一个自动化工作流时，我突然意识到：如果能把AI助手直接集成到日常使用的聊天软件里，很多重复性工作就能在对话中一键完成。这个想法促使我找到了OpenClaw——一个开源的智能体网关项目&…

2026/7/27 0:00:43
【JAVA毕设源码分享】基于SpringBoot的社区智能垃圾管理系统的设计与实现(程序+文档+代码讲解+一条龙定制)

【JAVA毕设源码分享】基于SpringBoot的社区智能垃圾管理系统的设计与实现(程序+文档+代码讲解+一条龙定制)

博主介绍：✌️码农一枚 ，专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者，博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围：&am…

2026/7/27 0:00:53

周新闻

Apex英雄目标检测数据集 深度学习框架YOLO如何训练APEX数据集

Apex英雄目标检测数据集 深度学习框架YOLO如何训练APEX数据集

Apex检测数据集数据集详情检测类别： allies enemy tag图片总量：7247张训练集：5139张验证集：1425张测试集：683张标注状态：全部已标注，即拿即用数据格式：支持YOLO格式及其他格式&#…

2026/7/27 7:47:45
智慧飞行 大疆无人机一站式智能管控平台/支持大疆机场/私有化部署 从航线规划、自动飞行、AI识别到数据管理，一个平台全搞定

智慧飞行 大疆无人机一站式智能管控平台/支持大疆机场/私有化部署 从航线规划、自动飞行、AI识别到数据管理，一个平台全搞定

智慧飞行-大疆无人机一站式智能管控平台/支持大疆机场/私有化部署 企业级全域智能无人机一体化管控平台源码！ 专为电力巡检、安防监控、应急救援、测绘勘察等行业打造，让您的无人机舰队实现 “无人化、自动化、智能化” 管理！ 🎯 …

2026/7/27 5:35:46
揭秘ChatGPT+Mathematica协同教学：为什么92%的初学者在72小时内建立函数直觉？

揭秘ChatGPT+Mathematica协同教学：为什么92%的初学者在72小时内建立函数直觉？

更多请点击： https://codechina.net 第一章：AI帮助理解数学概念 人工智能正以前所未有的方式重塑数学学习的路径。通过自然语言处理与符号计算的深度融合，AI不仅能解析抽象定义，还能将定理、证明和几何直觉转化为可交互、可验证的…

2026/7/27 7:47:48

月新闻

[C++]内存管理：串顺序存储的内存回收

[C++]内存管理：串顺序存储的内存回收

在串（字符串）的顺序存储中，内存回收的方式取决于字符串的存储方式以及所使用的编程语言和相关库。以下以 C 为例进行说明，因为 C 对内存管理有较为直接的控制。 1. 基于 char 数组的串顺序存储 如果使用普通的 char 数组来存储字…

2026/7/26 21:51:47
移动端游戏功耗测试实战：电流、功率、亮度和场景对比

移动端游戏功耗测试实战：电流、功率、亮度和场景对比

移动端游戏功耗测试：先控制变量，再比较优化是否真的省电 摘要：功耗测试最容易犯的错误，是拿两次不同温度、不同亮度、不同场景的平均功率直接比较。本文给出一套可复现的游戏功耗测试方法，覆盖引擎特性验证、版本回归和黑盒体验测试，并说明如何把功耗与帧率、温控、CPU/G…

2026/7/27 1:01:39
足球口袋教练 HarmonyOS 离线应用实战（03/20）：ArkUI 首页仪表盘搭建

足球口袋教练 HarmonyOS 离线应用实战（03/20）：ArkUI 首页仪表盘搭建

本文是“足球口袋教练 HarmonyOS 离线应用实战”系列第 3 篇。示例项目是一个 HarmonyOS / ArkTS / ArkUI 编写的离线足球训练助手，围绕真实页面、真实截图和可复现操作展开。 本篇要解决的问题 训练 App 的首页不能只展示欢迎语，它要解决“我现在该点哪…

2026/7/27 9:28:36