为了弄清楚Transformer的实现细节，这里从零开始复现论文Attention Is All You Need中执行文本翻译任务的Transformer(Pytorch)。该版本与Pytorch提供的torch.nn.Transformer不同略有不同，包含了Embedding的步骤。 完整代码 Colab 导入库 import torch import torch.nn as ...

Task Description 本次作业的主题是Domain Adaptation，即领域自适应。 假设你要执行与真实3D场景相关的任务，但是真实环境3D图像很难标记并且价格昂贵，而模拟图像（例如GTA-5上的模拟场景）易于标记。如果将模拟图像作为训练集，真实环境图像作为测试集，这样作会有什么问题？ 模型会将真实环境图像识别为“异常”，因为训练数据和测试数据来自不同的domain。 ...

Task Description 本次作业的主题是“Adversarial Attack”，即对抗攻击，是一种通过对输入数据添加精心设计的微小扰动，使机器学习模型产生错误预测的技术。这些扰动对人类几乎不可察觉，但能显著改变模型输出。 Prerequisite 对抗攻击按照攻击目标可分为Targeted attack（有目标攻击）和Non-targeted attack（无目标攻击），作...

Topic I: CNN explanation CNN的可解释性，该部分使用了5个方法： Lime package Saliency map Smooth Grad Filter Visualization Integrated Gradients Lime Local Interpretable Model-Agnostic Explanations (L...

Task Introduction 本次作业是无监督异常检测(Unsupervised anomaly detection)，训练一个模型检测输入图像是否与训练数据相似。 Data Training data 100000 human faces Testing data About 1000...

Task Introduction 使用Bert模型进行抽取式问答（Extractive Question Answering）。输入文本和问题，返回答案在文本中开始和结束的位置。 Dataset DRCD: 台達閱讀理解資料集 Delta Reading Comprehension Dataset； ODSQA: Open-Domain Spoken Question Answer...

Task Introduction 输入一个随机数，生成1000张Anime face的图片； 使用GAN实现。 Dataset Crypko是可以生成自己的Anime face的网站，助教爬取了71314张图片作为训练数据。 Evaluation Metrics FID (Frechet Inception Distance) FID（Frechet Incepti...

Objective 使用seq2seq架构解决输入输出不定长问题。 Task Description Machine Translation（机器翻译）：将英文翻译为繁体中文。 e.g: Thank you so much, Chris. -> 非常謝謝你，克里斯。 Dataset Paired data（成对数据） TED2020: T...

Objective 了解Self-attention； 学会使用Transformer。 Task Description Speaker Identification（语者识别）：多分类任务，从给定的语音中预测演讲者的类别。 Dataset VoxCeleb2 Training: 56666 processed audio fe...

Objective 图像分类 用卷积神经网络解决图像分类问题。 通过数据增强来提高性能。 了解流行的图像模型技术，如残差。 Task Introduction 食物分类 图像是从food-11数据集中收集的，分为11类。 Training set: 9866 labeled images Validation set: 3430 labeled ima...