Karpathy · Talk Notes DOC—KRP/SEQ-2026 · three-themes REV 2026·05·03 · a
— Three Themes from Sequoia Ascent 2026 · Fireside —

新視野/Jaggedness/Agent-Native

Compiled by 2026·05·03 STATUS · NOTES
FIRESIDE NOTES Karpathy @ Sequoia Ascent · April 2026 // 3 themes // 3 horizons // 2 axes of jaggedness // sensors · actuators · logic
3
Themes
3
New Horizons
2
Jaggedness Axes
Decompositions
figure 00 · thesis Not
just
faster.
Different.

Karpathy 在 Sequoia Ascent 2026 的 fireside chat 串了三個主題。第一個主題:每次新典範轉移,最容易被想到的都是「把舊有東西做得更快」——LLM 加速 coding、加速寫文件。但這次的真正趣味在於那些在舊典範裡根本不該存在、或根本不可能的功能。

第二個主題:理解 LLM 的jaggedness——同一個 artifact 可以一邊優雅地重構十萬行 codebase,一邊一本正經地叫你走去洗車場洗車。Karpathy 把這條光譜的成因從「verifiability」延伸到「economics」:你的任務有沒有進到 RL 訓練分布,決定了你是搭著電路飛行還是拿開山刀走叢林。

第三個主題:agent-native economy——把產品與服務拆解成 sensors、actuators、logic 三件,跨 1.0/2.0/3.0 三種計算典範重新組裝;以及未來可能由神經網路擔綱、CPU 退居 coprocessor 的新秩序。

同一個 artifact 可以重構十萬行 codebase,也可以叫你走去洗車場洗你的車。要在這種跳躍中精準使用 LLM,得同時看 verifiability 與 economics 兩條軸。
— ANDREJ KARPATHY · ON LLM JAGGEDNESS
01/05
— Horizon · Menugen
被 LLM 完全吞下的 app — 沒有古典程式碼也能跑
menugen:一張圖進、一張圖出,整個應用幾乎被 LLM 原生吞下,不再需要古典 software 1.0 程式去搭配。
// IMG → IMG

menugen 是 Karpathy 用來戳破「LLM 只是 code 加速器」這個錯覺的範例:應用本身的 input 是一張圖、output 也是一張圖,中間的處理 LLM 可以原生做完,不用再寫一堆解析、格式、規則程式。

關鍵不是「menugen 解決什麼問題」,而是它代表的一種應用形態——舊典範裡你會自然反射地去寫 OCR、parsing、模板渲染,這些在 LLM-native 裡根本不該存在。應用的邊界從程式碼,搬到了模型的 capability surface。

這對工程師的訊號是:每次設計新功能前,先問一句「這件事如果被一個夠強的 LLM 原生吞下,整個 codebase 還剩多少?」答案常常會是「少得驚人」。

Classical 1.0
寫 OCR + parser + 模板
解析 menu 結構、欄位 mapping、生成排版檔;每多一種 menu 樣式就多一條規則。
LLM-Native
image → image, end to end
應用幾乎沒有古典程式邏輯:LLM 看圖、思考、產出新圖。邊界從 code 搬到 capability surface。
02/05
— Horizon · install.md
用 .md skill 取代 .sh 腳本 — 用語言下指令
install.sh 之死:與其寫 bash 腳本去處理各種 OS / 環境分支,不如把安裝步驟用英文寫清楚,讓 LLM 當智慧型 interpreter 即時 debug。
// LANG > SCRIPT

過去要安裝一個工具,你要寫 install.sh——對 macOS / Ubuntu / Arch 各寫一段,處理 PATH、相依套件、版本邊界,每加一個發行版就多一段 if-elif。

Karpathy 提的新做法很簡單:寫一份 install.md,把該做什麼用英文寫清楚,告訴使用者「直接把這份貼給你的 LLM」。LLM 是一個高階英文 interpreter——它會根據你電腦的實際狀態調整步驟、遇到錯誤即時 debug、處理你的 shell 與 package manager 變體。

這是「用語言取代腳本」的最小可行範例,但它指向一個更大的方向:很多用 software 1.0 撐起來的膠水程式,會被自然語言介面取代。LLM 是新的 shell。

install.sh
Software 1.0 腳本
為每個發行版、每種 shell、每種 package manager 寫分支;新環境出現就要新增 if 分支。
install.md
給 LLM 看的 skill 文件
英文描述意圖即可,LLM 動態 target 你的 setup、inline 處理錯誤、必要時提問釐清。
03/05
— Horizon · Knowledge Bases
古典程式做不到的事 — LLM knowledge base
過去你不可能寫一段 software 1.0 去「對任意格式的非結構化知識做計算」,LLM knowledge base 是這個典範裡之前根本不可能的東西。
// PREVIOUSLY · IMPOSSIBLE

第三種新視野最有趣:不是「比以前更快」,而是「以前根本做不到」。LLM knowledge base 就是這類例子——你給它任意來源、任意格式的非結構化知識(純文字文章、PDF、會議逐字稿、論壇討論串、雜亂的內部文件),它能對這團東西做推理與計算

古典 software 1.0 沒辦法做這件事——你會卡在 schema 設計、資料清洗、格式對齊,最後只能勉強處理幾種預先定義好的型態。computation over unstructured knowledge from arbitrary sources,這個句子本身就是 LLM 帶來的新原語。

這是 paradigm shift 真正的份量所在:兩個是「不該存在的」(menugen、install.md),一個是「以前不可能」的(knowledge base)。新典範的能量大半在這兩種——而不是「把舊有東西做得更快」。

▸ 01
輸入維度純文字、PDF、轉錄稿、論壇貼文、雜亂筆記、影像 caption——任意格式皆可。
ANY FORMAT
▸ 02
運算對象非結構化知識本身——不是 SQL row,不是 schema field,是語意。
SEMANTIC
▸ 03
為何古典做不到沒有可預先設計的 schema;任意來源 × 任意格式的組合空間爆炸,rule-based 無法收斂。
UNREACHABLE
▸ 04
為何 LLM 做得到語言模型本身就是「對非結構化文本做泛化計算」的可微分函數。
NATIVE
04/05
— Theme · Jaggedness
Jaggedness — verifiability 與 economics 兩條軸
為什麼同一個模型一邊重構十萬行 codebase,一邊建議你「走去洗車場洗你的車」?Karpathy 把成因從 verifiability 延伸到 economics。
// NON-UNIFORM CAPABILITY

LLM 的能力分布從來不是一條平滑曲線。同一個 artifact 可以同時做出:一個漂亮重構十萬行 codebase叫你走去洗車場洗車 這種顯然錯離的建議。Karpathy 在這裡更新他的解釋。

第一條軸他之前寫過:verifiability——任務有沒有可自動驗證的 reward signal,決定了 RL 過程能不能反覆把模型逼到正確答案。可驗證 → 進得了 RL 循環 → 模型變強。難驗證 → 只能靠模仿 → 表現參差。

這次他補上第二條軸:economics——前沿實驗室會根據營收 / TAM 來決定要把哪些任務「打包進 RL 訓練分布」。Coding、math、tool use 有錢、有 benchmark、有 enterprise 需求,當然進得了菜單;很多冷僻或低 TAM 的領域則不會被優先納入。

這兩條軸合起來告訴你:你在 RL 電路上飛行,還是在叢林裡拿開山刀,往往不是模型「能不能做」的問題,而是「有沒有人付錢讓它被訓練到」的問題。

Axis A
Verifiability
任務能否自動驗證 → 決定能否進入 RL 反覆改寫的迴圈。可驗證的(math、code、tool use)→ 飛行;難驗證的(品味、長文寫作、創意判斷)→ 步行。
Axis B
Economics
營收與 TAM → 決定 lab 把哪些任務打包進 RL 訓練分布。有錢的領域進菜單,沒錢的繼續 off-road。能力差距,常常是經濟差距。
In-Distribution
坐在 RL 電路上:路面平滑、加速直覺、邊界清楚。
vs
Out-of-Distribution
在叢林裡拿開山刀:能走、但慢、隨時可能踩到地雷。
05/05
— Theme · Agent-Native Economy
Agent-Native Economy — 把產品拆成 sensors / actuators / logic
把產品與服務拆解成感測器、執行器、邏輯,再分散到 software 1.0 / 2.0 / 3.0 三種典範上重新組裝。最終可能會走向 neural-first computing、CPU 退到 coprocessor。
// SENSORS · ACTUATORS · LOGIC

當 LLM agent 真的能跑進企業流程,產品不再是 monolithic 的「網站 + DB + UI」。Karpathy 提的拆解方式是sensors / actuators / logic——任何產品或服務都可以重新被想成「這三件分別是什麼,分別由誰負責」。

這三件可以分散到 software 1.0(人手寫的 code)、2.0(神經網路 weights)、3.0(LLM 提示詞與 agent skills)三種典範上。誰擅長什麼就由誰承擔——例如確定性轉換仍交給 1.0,感知多半進 2.0,推理與決策多半進 3.0。

連帶出現的是 agentic engineering 這套新技能:把資訊變得對 LLM「最大可讀」、設計給 agent 看的介面與文件、設計 agent 工作流的安全護欄、訂出新的 hiring 標準。Karpathy 也丟了一個更激進的暗示——未來大半計算可能由神經網路擔綱,CPU 退居 coprocessor

SENSORS
感測器
把世界讀進 agent 視野的入口:image、audio、API event、screenshot、user prompt。
e.g. vision · ASR · webhook · log tail
ACTUATORS
執行器
把 agent 的決定送回世界的出口:write file、call API、move robot、send message、開 PR。
e.g. tool call · MCP · RPA · git push
LOGIC
邏輯
中間的判斷、規劃、推理:可以是 1.0 deterministic、2.0 NN、3.0 LLM agent,依需求混搭。
e.g. workflow · guardrail · skill · plan
SW · 1.0
古典程式碼
人手寫的確定性邏輯。仍是 sensors / actuators 黏合與安全邊界的主力。
SW · 2.0
神經網路 weights
資料訓練出來的可微分函數。多半承擔感知(影像、語音、向量化)。
SW · 3.0
LLM 提示詞 / agent
用語言描述任務 + skill 文件 + tool。承擔推理、規劃與跨情境泛化。
— ASCENT / TAKEAWAY —

不該存在/之前不可能/重新分解

Karpathy 把這場 fireside 收成三個動作:第一,去找本來不該存在或之前不可能的應用——別只把 LLM 當加速器;第二,用 verifiability × economics 兩條軸來預測你的 use case 在 jaggedness 光譜上的位置——不要被一個漂亮 demo 騙走判斷;第三,把產品重新拆解為 sensors · actuators · logic,跨 1.0 / 2.0 / 3.0 三種典範重新組裝,準備迎接神經為主、CPU 為輔的計算秩序。

Further Reading 延伸閱讀