BART Architecture 源码仓库地址 源码中各class的介绍与模型结构： BartLearnedPositionalEmbedding 该class定义了BART模型中的位置嵌入层。与传统的位置嵌入不同，BART采用了可学习的位置嵌入，以提高模型的泛化能力。该层的输入是token嵌入和位置编码，输出是嵌入向量。 BartAttention 该class定义了BA...
Paper Summary of BART
Paper Summary of BART 本次阅读了论文 BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 语言模型预训练+下游任务fine-tune 用任意噪声函数破坏文本：随机打乱句子顺序；将文本替...
Computer Network: Transport Layer(2)
Transport Layer Transport-Layer Services Multiplexing & Demultiplexing UDP RDT TCP 1. Transport-Layer Services...
Computer Network: Data Plane of Network Layer
Network Layer: Data Plane 1. Network Layer Services 2. Router 2.1 input port processing 2.2 Switching fabric 2.2.1 switching...
Computer Network: Control Plane of Network Layer
Network Layer: Control Plane RIP, Router Information Protocol OSPF(Open Shortest Path First，开放式最短路径优先) 层次化路由 Network Layer: Control Plane 路由算法 集中式：全局网络知识计算，需...
Computer Network: Application Layer
Overview The * Layer Internet Model Applications 1. Principles of network applications 1.1 Network application architectures ...
计算机体系结构文献综述
体系结构在大规模机器学习的应用 Introduction A Software-defined Tensor Streaming Multiprocessor for Large-scale Machine Learning 确定性执行与向外扩展的保证 网络拓扑结构 ...
Machine Learning: Clustering
机器学习：K-Means&GMM学习笔记 1、K-Means 1）算法思路 2）初始化中心点 1. 随机选取k个中心点 2. 最大距离选取中心点 ...
ModuleNotFoundError: No module named '_sqlite3'解决方法
WSL2 ubuntu18.04运行django的时候发现该module缺失 1. 安装编译sqlite3 wget https://sqlite.org/2019/sqlite-autoconf-3290000.tar.gz tar zxvf sqlite-autoconf-3290000.tar.gz cd sqlite-autoconf-3290000 ./configur...
Machine Learning: Classification
基于CIFAR-10图像分类任务训练线性分类器、MLP和CNN模型 一、模型原理 1）Softmax分类器 2）MLP 3）CNN 4）网络参数 1、CUDA加速 2、损失函数 ...