从浅入深学习Transformer的资料汇总
导读
从浅入深学习transformer的资料汇总。
transformers 加速了自然语言处理(nlp)任务的新技术和模型的发展。虽然它主要用于nlp任务，但现在它被大量应用于处理计算机视觉任务。这使它成为一个非常重要的技术。
我知道很多机器学习和nlp的学生和从业者都非常热衷于学习transformers 。因此，我保存了一份资源和学习材料的配方，帮助学生了解transformers的世界。
首先，在这篇文章中，我准备了一些材料链接，用于更好地从头开始理解和实现transformer模型。
写这篇文章的原因是这样我就可以有一个简单的方法来继续更新学习材料。
高层次介绍
首先，关于transformers的非常高层次的介绍。一些值得一看的参考资料:
https://theaisummer.com/transformer/
https://hannes-stark.com/assets/transformer_survey.pdf
transformer 图解
jay alammar)的解释很特别。一旦你对transformer有了高层次的理解，你就可以跳到下面这个流行的关于transformer的图解说明：
http://jalammar.github.io/illustrated-transformer/
技术汇总
此时，你可能正在寻找transformers的技术摘要和概述。lilian weng的博文是一个宝藏，提供了简洁的技术解释/总结：
https://lilianweng.github.io/lil-log/2020/04/07/the-transformer-family.html
实现
理论之后，检验知识是很重要的。我通常喜欢更详细地理解事物，所以我更喜欢从头开始实现算法。对于实现transformers，我主要依赖于这个教程:
https://nlp.seas.harvard.edu/2018/04/03/attention.html
attention is all you need
本文由vaswani等人介绍了transformer 的结构。在你有一个高层次的理解和想要进入细节后再读它。为了深入研究，请注意论文中的其他参考文献。
https://arxiv.org/pdf/1706.03762v5.pdf
应用 transformers
在学习和理解transformers背后的理论一段时间后，你可能会有兴趣将它们应用到不同的nlp项目或研究中。现在，你最好的选择是huggingface的transformers库。
https://github.com/huggingface/transformers
小米6plus什么时候上市？小米6plus最新消息：雷军暗示小米将有新机发布？小米6 Plus将成为杀手锏
基于恩智浦MPC5744P的电机FOC控制中电流的采样
汽车电子设计中PCB的可靠性如何检测？
如何用PIC通过AD使用光敏电阻
百度大脑行业创新论坛拉开帷幕 推出7大行业解决方案将AI技术落实到细分领域
从浅入深学习Transformer的资料汇总
火眼金睛识内存
芯华章登榜Silicon 100: Startups Worth Watching in 2023
突发！江苏多地传出轮流限电限产，电子制造业恐再受影响
鸿蒙新功能有哪些
赛微电子签署生物MEMS标志性大订单
微软发布第五代小冰 “网红少女”进军物联网
未来5年LE Audio技术规格将推动蓝牙音频设备大幅增长
FF91 PK 特斯拉MODELX P100D, 价格真的靠谱吗？
自动封箱机安装使用注意事项
AT&T网络已经覆盖美国35个城市的部分地区
一台恒温恒湿试验箱应该有的好“素质”
EtherCAT协议的两大补充扩展，EtherCAT P和EtherCAT G/G10
司机将失业？沪无人驾驶车测试，车身遍布传感器实现360°全扫描
MEMS实现微型气相色谱柱
从浅入深学习transformer的资料汇总。
transformers 加速了自然语言处理(nlp)任务的新技术和模型的发展。虽然它主要用于nlp任务，但现在它被大量应用于处理计算机视觉任务。这使它成为一个非常重要的技术。
我知道很多机器学习和nlp的学生和从业者都非常热衷于学习transformers 。因此，我保存了一份资源和学习材料的配方，帮助学生了解transformers的世界。
首先，在这篇文章中，我准备了一些材料链接，用于更好地从头开始理解和实现transformer模型。
写这篇文章的原因是这样我就可以有一个简单的方法来继续更新学习材料。
高层次介绍
首先，关于transformers的非常高层次的介绍。一些值得一看的参考资料:
https://theaisummer.com/transformer/
https://hannes-stark.com/assets/transformer_survey.pdf
transformer 图解
jay alammar)的解释很特别。一旦你对transformer有了高层次的理解，你就可以跳到下面这个流行的关于transformer的图解说明：
http://jalammar.github.io/illustrated-transformer/
技术汇总
此时，你可能正在寻找transformers的技术摘要和概述。lilian weng的博文是一个宝藏，提供了简洁的技术解释/总结：
https://lilianweng.github.io/lil-log/2020/04/07/the-transformer-family.html
实现
理论之后，检验知识是很重要的。我通常喜欢更详细地理解事物，所以我更喜欢从头开始实现算法。对于实现transformers，我主要依赖于这个教程:
https://nlp.seas.harvard.edu/2018/04/03/attention.html
attention is all you need
本文由vaswani等人介绍了transformer 的结构。在你有一个高层次的理解和想要进入细节后再读它。为了深入研究，请注意论文中的其他参考文献。
https://arxiv.org/pdf/1706.03762v5.pdf
应用 transformers
在学习和理解transformers背后的理论一段时间后，你可能会有兴趣将它们应用到不同的nlp项目或研究中。现在，你最好的选择是huggingface的transformers库。
https://github.com/huggingface/transformers
小米6plus什么时候上市？小米6plus最新消息：雷军暗示小米将有新机发布？小米6 Plus将成为杀手锏
基于恩智浦MPC5744P的电机FOC控制中电流的采样
汽车电子设计中PCB的可靠性如何检测？
如何用PIC通过AD使用光敏电阻
百度大脑行业创新论坛拉开帷幕 推出7大行业解决方案将AI技术落实到细分领域
从浅入深学习Transformer的资料汇总
火眼金睛识内存
芯华章登榜Silicon 100: Startups Worth Watching in 2023
突发！江苏多地传出轮流限电限产，电子制造业恐再受影响
鸿蒙新功能有哪些
赛微电子签署生物MEMS标志性大订单
微软发布第五代小冰 “网红少女”进军物联网
未来5年LE Audio技术规格将推动蓝牙音频设备大幅增长
FF91 PK 特斯拉MODELX P100D, 价格真的靠谱吗？
自动封箱机安装使用注意事项
AT&T网络已经覆盖美国35个城市的部分地区
一台恒温恒湿试验箱应该有的好“素质”
EtherCAT协议的两大补充扩展，EtherCAT P和EtherCAT G/G10
司机将失业？沪无人驾驶车测试，车身遍布传感器实现360°全扫描
MEMS实现微型气相色谱柱