資料來源#
摘要#
Andrej Karpathy 對三種程式設計範式的分類:Software 1.0 是顯式的程式碼;Software 2.0 是習得的權重(你透過策劃資料集、目標函數與架構來編程);Software 3.0 則是提示——LLM 是一台可程式化的電腦,而「情境視窗裡裝著什麼,就是你操縱這台解釋器的槓桿」。模型在整個網際網路上受訓,隱含地同時處理資料中的每一項任務,成為一台在數位資訊空間中進行運算的通用解釋器。更深層的主張是:3.0 不只是讓舊有程式跑得更快,它讓整個類別的程式都變得不必要——並使得過去根本不可能存在的資訊處理任務成為可能。
三種範式#
| Software 1.0 | Software 2.0 | Software 3.0 | |
|---|---|---|---|
| 你撰寫的是 | 程式碼 | 資料集 + 目標函數 + 架構 | 提示/情境 |
| 由誰執行 | CPU | 訓練好的神經網路 | LLM 作為解釋器 |
| 所謂「程式」是 | 原始碼 | 權重 | 情境視窗 |
OpenClaw 安裝器範例#
安裝一個複雜的跨平台工具,過去意味著要寫一支 shell 指令稿,為了涵蓋每一種環境而「不斷膨脹、變得極度複雜」——這是 Software 1.0 的思維。3.0 版本則是:安裝指示是一段你複製貼上給你的 agent 的文字。agent 會打包它自己的智慧、檢查你的機器、執行有智慧的動作,並在迴圈中除錯。「要複製貼上給你的 agent 的那段文字是什麼?那就是現在的程式設計範式。」(其一般化形式請見 Agent-Native Infrastructure。)
MenuGen:不該存在的應用程式#
Karpathy 打造了 MenuGen——拍下一份菜單、用 OCR 辨識品項、為每道菜生成圖片——做成一個真實的 Vercel 應用程式,內含影像生成的底層配管。接著他看到了 3.0 版本:把照片交給 Gemini,然後說*「用 Nano Banana 把菜餚疊加到菜單上」*,模型就會回傳一張完全相同的菜單影像,菜餚的圖片已經渲染進像素之中。「我整個 MenuGen 都是多餘的。那個應用程式不該存在。」神經網路把整個應用程式都吸納了進去;提示只是那張影像,輸出也只是那張影像,中間沒有任何應用程式。
超越程式碼:全新的資訊處理任務#
一個更微妙的觀點:先前的程式碼操作的是結構化資料。Software 3.0 則讓那些從來就不是程式的操作成為可能。他舉的例子是 the LLM wiki:「過去沒有任何程式碼能從一堆事實中建立出一個知識庫。現在你可以把這些文件拿來,用不同的方式重新編譯……作為對資料的重新框定而產生的全新事物。」他說這比單純的加速「更令人興奮」——重點不在於我們能把什麼做得更快,而在於什麼是過去根本做不到的。
外推:神經網路作為宿主行程#
推到極限:一台「完全神經式的電腦」——輸入是原始的視訊/音訊,由擴散過程渲染出一個專屬於當下那一刻的 UI,神經網路作為宿主行程,而 CPU 則作為處理確定性附屬功能的協同處理器。他把這描述為 1950–60 年代那次分岔(計算機 vs. 神經網路)的反轉:古典運算贏得了第一回合,神經網路目前被虛擬化在它之上,而這層關係或許會倒轉過來。這正是 The Bitter Lesson 被推到其架構結論的版本。他保留地說,通往那裡的路徑「尚待確定(TBD)」。
相關連結#
- Compute Allocator — 決定什麼值得投入算力,正是 3.0 技術堆疊中屬於人類的角色
- Andrej Karpathy — 此分類體系的提出者
- Agent-Native Infrastructure — OpenClaw「複製貼上給你的 agent」式安裝,是 3.0 的實務面貌
- Vibe Coding vs. Agentic Engineering — vibe coding 是把門檻下限拉低的 3.0;agentic engineering 則是以專業品質完成的 3.0
- LLM-as-Compiler Knowledge Base — 他那個「過去不是程式的新任務」的標誌性範例
- The Bitter Lesson — 神經網路作為宿主行程的外推,是把 Sutton 的原則一路推到硬體層
- The Verifiability Thesis — 解釋了今天哪些 3.0 任務能成立(也就是那些可驗證的任務)
- HTML as the New Markdown — Thariq Shihipar 的「為每項任務打造一個用完即丟的 UI」是一種 3.0 原生的工作流程;Disposable Micro-Apps 則是 MenuGen 那種幾乎不存在的應用程式
- Interaction Models — Thinking Machines 的「擴散渲染 UI/神經式電腦」方向,是邁向宿主行程外推的具體一步
開放問題#
- 「應用程式不該存在」(MenuGen)與那些應該存在的應用程式之間,界線落在哪裡——也就是說,確定性的 1.0/2.0 鷹架在什麼時候仍是正確選擇,又在什麼時候只是多餘的?
- 神經網路作為宿主行程的反轉被描述為「貌似可行但尚待確定」。第一個真正倒轉 CPU/NN 關係的生產系統,會長成什麼樣子?
資料來源#
Cited by 12
- Agent-Native Infrastructure
The world is still built for humans and must be rewritten for agents; "what do I copy-paste to my agent?"; sensors/actu…
- Andrej Karpathy
Co-founder OpenAI, ex-Tesla AI, Eureka Labs; coined "vibe coding," Software 1/2/3.0, "ghosts not animals," "agentic eng…
- Compute Allocator
The human's evolving role: deciding what's worth spending compute on; ~1% of generated tokens ship, 99% is scaffolding…
- Disposable Micro-Apps
Throwaway custom UIs built per-task to edit a plan ("micro-software on top of micro-software"); copy-back-to-markdown;…
- HTML as the New Markdown
Thariq Shihipar's thesis: as models improve, thousand-line markdown plans overwhelm the *human*; HTML artifacts (visual…
- Interaction Models
Thinking Machines Lab (May 2026): models that handle audio/video/text interaction natively in real time instead of via…
- LLM-as-Compiler Knowledge Base
Karpathy's architecture: LLM incrementally compiles raw docs into a persistent interlinked wiki, replacing RAG with a 4…
- LLM Architecture, Training & Alignment
Map of Content for the llm-architecture domain — 19 concepts. Curated entry point; see Home for all domains.
- Open Questions Backlog
_96 pages with open questions, as of 2026-06-14._
- Thariq Shihipar
Engineer on the Claude Code team at Anthropic; "HTML is the new markdown" and "compute allocator" framings; three HTML-…
- The Bitter Lesson
Sutton 2019: scaled general methods beat hand-engineered structure; recurring justification across the wiki for dissolv…
- Vibe Coding vs. Agentic Engineering
Vibe coding raises the floor (anyone builds); agentic engineering preserves the quality bar while going faster; ">10x a…
Related articles
- Harness Shrinkage as Models Improve
Prompt scaffolding shrinks each model release; Cat Wu's pruning discipline; Boris Cherny "100 lines of code a year from…
- Claude Code
Anthropic's agentic coding product; created by Boris Cherny late 2024; TypeScript/React; CLI/desktop/web/mobile/IDE sur…
- Outsource Your Thinking, Not Your Understanding
"You can outsource your thinking but not your understanding"; understanding as the non-delegable human bottleneck; know…
- Andrej Karpathy
Co-founder OpenAI, ex-Tesla AI, Eureka Labs; coined "vibe coding," Software 1/2/3.0, "ghosts not animals," "agentic eng…
- HTML as the New Markdown
Thariq Shihipar's thesis: as models improve, thousand-line markdown plans overwhelm the *human*; HTML artifacts (visual…
