Task Description 本次作业的主题是元学习（Meta-Learning），通过大量类似的小任务训练模型，使其获得快速适应新任务的能力。少样本分类（Few-shot Classification）是最典型的应用场景之一，通常的任务格式为N-way K-shot。从N个新类别中，每类提供K个训练样本（支撑集，Support Set），模型需分类测试数据（查询集，Query Set...

Introduction 本次作业的主题是Lifelong Learning，即终身学习。理想情况下，模型依序在不同任务的数据上训练，从而学会解所有的任务。但现实情况中模型会发生Catastrophic Forgetting（灾难性遗忘），即学会新任务的同时忘记学过的旧任务。 为什么会发生灾难性遗忘？ 核心在于每个任务的error surface不同，从而参数优化的方向也不同。当...

Task Description 网络压缩，即在不损失性能的情况下使模型变小。本次作业要求训练一个非常小的模型来完成作业3（在food-11数据集上进行图像分类）。 Dataset 图像来自food-11数据集，分为11类。 训练集：9866 labeled images； 验证集：3430 labeled images； 测试...

Task Description 使用深度强化学习算法执行OpenAI Gym的Lunar Lander（月球着陆器）任务。LunarLander是一个经典的强化学习环境，模拟航天器在月球表面着陆的任务。通过合理设计策略和调参，智能体可以学会精准着陆，该环境是验证强化学习算法的理想测试平台。 Environment Lunar Lander的目标是控制航天器降落在月球表面的两个黄色旗帜...

为了弄清楚Transformer的实现细节，这里从零开始复现论文Attention Is All You Need中执行文本翻译任务的Transformer(Pytorch)。该版本与Pytorch提供的torch.nn.Transformer不同略有不同，包含了Embedding的步骤。 完整代码 Colab 导入库 import torch import torch.nn as ...

Task Description 本次作业的主题是Domain Adaptation，即领域自适应。 假设你要执行与真实3D场景相关的任务，但是真实环境3D图像很难标记并且价格昂贵，而模拟图像（例如GTA-5上的模拟场景）易于标记。如果将模拟图像作为训练集，真实环境图像作为测试集，这样作会有什么问题？ 模型会将真实环境图像识别为“异常”，因为训练数据和测试数据来自不同的domain。 ...

Task Description 本次作业的主题是“Adversarial Attack”，即对抗攻击，是一种通过对输入数据添加精心设计的微小扰动，使机器学习模型产生错误预测的技术。这些扰动对人类几乎不可察觉，但能显著改变模型输出。 Prerequisite 对抗攻击按照攻击目标可分为Targeted attack（有目标攻击）和Non-targeted attack（无目标攻击），作...

Topic I: CNN explanation CNN的可解释性，该部分使用了5个方法： Lime package Saliency map Smooth Grad Filter Visualization Integrated Gradients Lime Local Interpretable Model-Agnostic Explanations (L...

Task Introduction 本次作业是无监督异常检测(Unsupervised anomaly detection)，训练一个模型检测输入图像是否与训练数据相似。 Data Training data 100000 human faces Testing data About 1000...

Task Introduction 使用Bert模型进行抽取式问答（Extractive Question Answering）。输入文本和问题，返回答案在文本中开始和结束的位置。 Dataset DRCD: 台達閱讀理解資料集 Delta Reading Comprehension Dataset； ODSQA: Open-Domain Spoken Question Answer...