课程日历

Jan 9

讲座Introduction (介绍)

Percy Liang

Jan 11

主题FlashAttention

Tri Dao (来自斯坦福大学)

阅读材料

• The Illustrated Transformer
• Attention is All You Need (可选，但推荐阅读!)
  
• Making Deep Learning Go Brrrr From First Principles.
• NVIDIA deep learning performance guide. (可选)

阅读材料

• 有关Transformer和GPU的两篇短博客文章：
  • The Illustrated Transformer - 介绍Transformer的图解。
  • Attention is All You Need - 论文，可选，但推荐阅读。
• 有关深度学习和GPU的阅读材料：
  • Making Deep Learning Go Brrrr From First Principles - 从第一原理出发让深度学习加速的文章。
  • NVIDIA deep learning performance guide - NVIDIA深度学习性能指南。

说明

• 第一周课程提供了一个关于Transformer模型和GPU加速深度学习的基本介绍和资源列表。
• 特别提到了一篇重要的论文《Attention Is All You Need》，这篇论文详细介绍了Transformer模型的架构和原理，对于理解现代深度学习模型中的注意力机制至关重要。
• 还提供了一些辅助材料，帮助读者更好地理解深度学习在GPU上的性能优化。

Jan 18

主题Model Training (模型训练)

Ce Zhang

Jan 23

讲座Scaling Laws and Emergent Behavior

Tatsu Hashimoto

Jan 25

主题Pathways Language Model (PaLM) and Model Scaling

Aakanksha Chowdhery (Google Brain)

Jan 23

• 主题: Scaling Laws and Emergent Behavior (规模法则与突现行为)
• 演讲者: Tatsu Hashimoto

Jan 25

• 主题: Pathways Language Model (PaLM) and Model Scaling (路径语言模型与模型扩展)
• 演讲者: Aakanksha Chowdhery (Google Brain)
• 演讲者信息: Aakanksha Chowdhery’s Personal Website
• 相关链接: Google AI Blog Post on PaLM

说明

• 1月23日，Tatsu Hashimoto将举行一场关于规模法则与突现行为的讲座。
• 1月25日，Aakanksha Chowdhery将就Google Brain的Pathways Language Model（PaLM）及其模型扩展进行演讲。可以通过提供的链接访问更多关于PaLM的信息。

Jan 30

讲座Mechanistic Interpretability – Reverse Engineering Learned Algorithms from Transformers

Stella Biderman (EleutherAI, Booz Allen Hamilton)

Feb 1

主题A data-centric view on reliable generalization

Ludwig Schmidt

Jan 30

• 事件: 讲座 (Lecture)
• 主题: Mechanistic Interpretability – Reverse Engineering Learned Algorithms from Transformers (机制解释性 - 从 Transformer 中逆向工程学习算法)
• 演讲者: Stella Biderman
• 演讲者隶属机构: EleutherAI, Booz Allen Hamilton
• 演讲者信息: Stella Biderman’s Personal Website

Feb 1

• 事件: 主题 (Topic)
• 主题: A data-centric view on reliable generalization (数据驱动的可靠泛化视角)
• 演讲者: Ludwig Schmidt
• 备注: 未提供演讲者隶属机构或其他详细信息

说明

• 1月30日，Stella Biderman将就Transformer中学习算法的逆向工程进行讲座，探讨机制解释性。
• 2月1日，Ludwig Schmidt将讨论关于如何通过数据驱动的方法来实现可靠的泛化。

Feb 6

讲座Security + Privacy

Tatsu Hashimoto

Feb 8

主题Building ML Models like Open-Source Software

Colin Raffel (UNC, Hugging Face)

Feb 6

• 事件: Lecture (讲座)
• 主题: Security + Privacy (安全性与隐私)
• 演讲者: Tatsu Hashimoto
• 备注: 无具体备注信息

Feb 8

• 事件: Speaker (演讲者)
• 主题: Building ML Models like Open-Source Software (像构建开源软件一样构建机器学习模型)
  • 相关链接: 博客文章
• 演讲者: Colin Raffel
• 演讲者隶属机构: UNC (北卡罗来纳大学), Hugging Face
• 演讲者信息: Colin Raffel’s Personal Website

说明

• 2月6日，Tatsu Hashimoto将举行一场关于安全性与隐私的讲座。
• 2月8日，Colin Raffel将就如何像构建开源软件一样构建机器学习模型进行演讲。可以通过提供的链接访问Colin Raffel的相关博客文章，以获取更多背景信息和细节。

Feb 13

主题Unlocking the RNA Universe

Raphael Townshend (Atomic AI)

Feb 15

主题Foundation Model Ethics

Rob Reich (Stanford)

Feb 13

• 事件: Speaker (演讲者)
• 主题: Unlocking the RNA Universe (解锁 RNA 宇宙)
• 演讲者: Raphael Townshend
• 演讲者隶属机构: Atomic AI
• 演讲者信息: Raphael Townshend’s Personal Website

Feb 15

• 事件: Speaker (演讲者)
• 主题: Foundation Model Ethics (基础模型伦理)
• 演讲者: Rob Reich
• 演讲者隶属机构: Stanford University (斯坦福大学)
• 演讲者信息: Rob Reich’s Stanford Profile

说明

• 2月13日，Raphael Townshend将就解锁 RNA 宇宙这一主题进行讲座，他是来自 Atomic AI 的专家。
• 2月15日，Rob Reich将就基础模型伦理进行演讲，他是斯坦福大学政治科学系的成员。

Feb 22

主题Poisoning web-scale datasets is practical

Nicholas Carlini (Google Brain)

Feb 22

• 事件: Speaker (演讲)
• 主题: Poisoning web-scale datasets is practical (对网络规模数据集投毒是可行的)
• 演讲者: Nicholas Carlini
• 演讲者隶属机构: Google Brain
• 演讲者信息: Nicholas Carlini’s Personal Website

说明

• 2月22日，Nicholas Carlini将就”对网络规模数据集投毒是可行的”这一主题进行演讲，他是来自 Google Brain 的专家。

Feb 27

主题Compression for AGI

Jack Rae (OpenAI)

Mar 1

SpeakerTalk TBD

Susan Zhang (Meta)

Mar 6

SpeakerTalk TBD

Yejin Choi (University of Washington, Allen Institute for AI)

Mar 8

SpeakerTalk TBD

Jared Kaplan (Anthropic)

Mar 13

Speaker or Final Presentations (TBD)

TBD

Mar 15

Final Presentations