Overview Text-to-Image Model Text-to-Image Model可以生成与文本描述相匹配的图像。ChatGPT-4O具备Text-to-Image能力，我们用ChatGPT-4O试一下，输入文字描述，模型根据文字描述输出图片👇 Personalization 基础模型不能满足个性化的要求，例如ChatGPT-4O每次输出的人脸都不一样。想要模型...
Task Introduction 本次作业的任务是：快速总结讲座视频。给定一个讲座视频，首先使用自动语音识别(automatic speech recognition (ASR))将视频转化为逐字稿；然后使用LLM对逐字稿做摘要。 作业使用的视频是Lin-shan Lee教授2023年的讲座”Signals and Life（信号与人生）“。由于原始视频很长，作业使用1:43:24...
Introduction LLM表现优异但是面临产生有害内容和偏见的挑战； 本次作业目的是帮助学生观察LLM产生有害内容和偏见的现象，并了解如何缓解这个问题。 Link Slides Colab LLaMA 2 vs. TULU 2-DPO 本次作业用到的模型有两个：TULU 2-DPO和LLaMA 2。其中，TULU 2-DPO是在LLaMa基础上进行了instru...
Introduction 本次作业的主题是【理解人工智能在想什么】，这就涉及到人工智能可解释性的问题了。 人工智能模型发展迅速，在短短十多年间，已经从传统的机器学习模型发展到深度学习模型，再到如今的大语言模型。然而，有两个问题始终没有解决：”why does AI do what it does?“和“how does it do it?” 。人们不理解人工智能模型的”why“和”how...
Task Overview 使用RLHF(Reinforcement Learning from Human Feedback)训练LLM，使它输出符合人类偏好的回答。这个过程也称为‘Alignment’，中文翻译作‘对齐’。具体‘对齐’什么东西呢？‘对齐’人类的喜好和偏向。 本次作业的目标是训练一个”支持漫画真人化“的LLM。如下图所示，在Alignment之前，模型输出”中立“的回答...
Task Overview 训练一个会写唐诗的AI模型。给定AI模型诗的前两句，写出诗的后两句。 原本的LLM不具备写诗的能力。我们用ChatGPT和kimi都试一下👇，它们无一例外都输出了对诗的鉴赏。 没有经过Fine-tuning的模型，不具备写唐诗的能力。我们的目的是教AI模型写唐诗。 Model and Dataset Model 实验提供了两个70亿参数的模...
Task Introduction 这次作业的任务是设计prompt来提升Gemini解决数学问题的正确率。具体的： 你需要设计一个prompt来帮助Gemini更有效地解决数学问题； 我们提供了30个数学问题，你需要想出一个prompt，使Gemini在这些问题上始终保持较高的正确率； 如下图所示，只需要关注如何设计promot。 Workflow Step 0: S...
统一参考架构在管理客户模块的实践总结。 微服务代码架构 mcr-service │ ─ mcr-adapters (module) –服务适配 │ │─ mcr-adapter-rest (module) –对外服务适配层实现，实现standard-inte...
未来几年，终端业务面临的一大挑战是生成式AI带来的不确定性。搞清楚业界都在用大模型干什么，可以为我们提供一些参考。 未来几年，终端业务面临的一大挑战是生成式AI带来的不确定性。虽然现在还不太好确切地回答这个不确定性在哪里，但是搞清楚业界都在用大模型干什么，可以为我们提供一些参考。 首先看创业公司，他们的业务方向都经过了投资者真金白银的筛选，具备极高的参考价值。根据CB Insights发...
实验要求使用Google Gemini API或者ChatGPT (OpenAI API)搭建自己的应用。 1. 准备工作 学会使用Google Colab写代码，并使用Gradio来托管App。 详见课程Slides 2. 获取API key 可选的API有： Google Gemini API：免费； ChatGPT (OpenAI API)：有5美元的免费额度； ...