基础模型的进展
Advances in Foundation Models
基础模型（Foundation Models, FMs）：
- FMs 是经过大量广泛数据训练的模型，例如 DALL-E、GPT-3、稳定扩散等。
- 这些模型具有广泛的适应性，可以用于多种下游任务。
- 它们是许多先进系统中不可或缺的一部分，并且在生成能力和少量样本学习方面表现出色。
课程内容：
- 学生将学习基础模型的建模、系统和伦理方面的基础知识。
- 学生将获得与基础模型合作的实践经验。
- 课程将邀请行业专家进行讲座，分享自己在基础模型工作方面的经验和见解。
课程成果：
- 学生需要完成一个为期一个季度的项目。
- 项目要求学生设计自己的基于基础模型的研究项目或应用。
- 学生可以选择自己关心的问题，并通过项目来探索和解决这些问题。
通过这门课程，学生不仅能够获得关于基础模型的深入知识，还能够将理论知识应用于实际的研究或应用项目中，从而更好地理解并参与到人工智能技术的发展中。
利用知识开源，对抗学识通胀。
课程资源
研讨会：虚拟（通过Zoom进行讲座和演讲）
课程日历
- 第1-4周：基础模型概述
- 课程的前半部分将专注于基础模型的基础知识，包括该领域的概述。
- 相关主题和阅读材料的完整列表可以在课程大纲页面找到：链接。
- 主要的教学形式将由课程讲师通过讲座进行。
- 第5-10周：嘉宾演讲和实践应用
- 课程的后半部分将邀请来自不同背景的嘉宾演讲者。
- 这些演讲者将在工业界和学术界构建、使用和部署基础模型，并将分享自己在各种用例和环境中的经验。
- 每节课将由一位嘉宾演讲者进行主题演讲，随后将进行私人问答环节，以便学生们能够更深入地了解演讲者的经验和见解。
- 课程时间表，包括嘉宾演讲者的信息，可以在课程日历页面找到：链接。目前，日历更新到了第5周。
通过这种结构，学生将获得基础模型的全面理解，并通过嘉宾演讲者的实际经验获得更深入的行业视角。这将为学生提供一个平衡的理论知识与实践应用的机会，从而在基础模型领域获得全面的提升。
课程作业
成绩将基于以下三项活动：
- 早期作业（20%）
- 季度长项目（75%）
- 课堂出勤和参与（5%）
1. 早期作业
- 目的：为了让你获得与基础模型的实践经验。
- 内容：涉及与GPT-3和CLIP等模型交互，解决简单任务。
- 过程：通过指令和示例提示这些模型，测试其能力。
- 更多信息：将在此处提供。
2. 季度长项目
- 目的：提供开放性的机会，让你构建应用或进行研究。
- 应用/演示：使用基础模型构建应用或演示，解决自选问题或自动化工作流程。
- 研究项目：进行独立研究，研究特定基础模型属性，比较多个模型，或提出改进方法。
- 项目格式：1-3名学生团队完成。
- 里程碑：初步提案和最终提交。
- 初步提案：概述应用或研究问题、方法、FM(s)和评估指标。
- 最终提交：写作和编码组件。
3. 课堂出勤和参与
- 开始时间：第3周
- 活动：嘉宾演讲和在后续问答中提问。
- 准备：提前阅读相关材料。
- 出勤记录：使用Google表单记录每日课堂出勤。
通过这些活动，学生将能够获得基础模型的实践经验，展示自己的应用能力和研究水平，并且通过课堂出勤和参与，增加对课程的理解和兴趣。