Attention is All You Need：专注力才是人和大模型共同的底层算法

Thu, 05 Mar 2026 00:00:00 +0000

2017 年，Google 发表了那篇改变世界的论文——“Attention Is All You Need”。八位作者可能没想到，这篇论文不仅催生了 GPT、Claude、Gemini 等一系列大模型，也在某种意义上揭示了一个关于人类自身的深刻隐喻：不论是大模型还是人，决定产出质量的底层机制都是注意力（Attention）。

专注力是人做事质量和效率的基础。这不是心灵鸡汤，而是一个可以从技术原理出发、严肃论证的观点。

Step-by-Step 实现一个能编程的大模型

Mon, 09 Feb 2026 00:00:00 +0000

你是否好奇过 GitHub Copilot、CodeLlama 这些代码生成模型是如何工作的？本文将带你从零开始，一步步实现一个专注于 Python 代码生成的小型语言模型。通过这个项目，你将深入理解 Transformer 架构、代码 tokenization、以及如何让模型学会"写代码"。

Transformer on All about Raspberry Pi

Attention is All You Need：专注力才是人和大模型共同的底层算法

Step-by-Step 实现一个能编程的大模型