Yang Zhilin: Das Genie hinter Kimi K3

In den letzten zwei Wochen sprechen Wissenschaftler auf der ganzen Welt über Kimi K3. Das ist das neueste große Sprachmodell aus China. Laut der Zeitschrift Nature hat K3 2,8 Billionen Parameter und ein Kontext-Fenster von bis zu 1 Million Token. Ein Token ist eine Einheit Text, die die KI verarbeitet. Damit ist K3 heute das größte Open-Weight-Modell der Welt. Open-Weight bedeutet: Die Parameter des Modells sind öffentlich. Forscher können sie gratis herunterladen, verändern und nutzen. Aber die Details über das Training bleiben geheim.

Seit DeepSeek ist kein KI-Modell aus China mehr so beliebt, sagt Nature. Interne Tests zeigen: K3 kann die besten Modelle aus den USA erreichen oder sogar besser sein. Zum Beispiel bei Aufgaben wie Programmieren und Arbeiten mit Tabellen. Man kann K3 auch über eine API nutzen. API bedeutet Programmier-Schnittstelle. Die Nutzung kostet weniger als bei den Modellen von Google, Anthropic oder OpenAI.

Weil Kimi K3 so beliebt ist, ist auch sein Gründer Yang Zhilin jetzt sehr bekannt in der KI-Welt.

Sehr gut unter den Besten

Yang Zhilin wird 1992 in Shantou in der Provinz Guangdong geboren. Er studiert Informatik an der Tsinghua-Universität und gehört zu den besten Studenten. Sein Lehrer dort ist Professor Tang Jie. Professor Tang Jie ist auch Mitgründer der Firma Zhipu AI. Im Jahr 2019 macht Yang seinen Doktor an der Carnegie Mellon Universität in den USA. Seine Lehrer dort sind die zwei berühmten KI-Forscher Professor Ruslan Salakhutdinov und Professor William Cohen.

Professor Ruslan Salakhutdinov hat viele erfolgreiche KI-Forscher ausgebildet. Viele von ihnen sind heute Mitgründer von KI-Firmen oder Professoren an Top-Universitäten.

Aber selbst in dieser Gruppe ist Yang Zhilin besonders, sagt Professor Ruslan Salakhutdinov zu Business Insider.

Yang Zhilin. Foto: Kimi AI

Er sagt, Yang hat vier besondere Qualitäten: Er kann sehr gut allein arbeiten, er denkt kreativ, er hat ein sehr breites technisches Wissen und er hat große Ziele und nimmt gern Risiken.

Professor Salakhutdinov erzählt: Yang geht direkt nach dem Bachelor in das Doktor-Programm der Carnegie Mellon Universität. Er wird schnell ein sehr selbstständiger Forscher. Am meisten beeindruckt den Professor, dass Yang gern alte Ideen hinterfragt. Ungefähr im Jahr 2019, also drei Jahre bevor ChatGPT bekannt wird, sagt Yang: Wenn man das Modell groß genug macht, kann ein einziges KI-Modell viele verschiedene Aufgaben machen. Man braucht nur Befehle in normaler Sprache. Man muss nicht für jede Aufgabe ein eigenes Modell bauen.

Professor Salakhutdinov erinnert sich an seine Antwort damals: "Was ist das für eine Idee? Das wird nie funktionieren. Das klingt etwas verrückt." Aber Yang antwortet: "Nein, ich denke, wenn wir die Modelle immer größer machen, werden sie funktionieren." Diese Antwort vergisst der Professor nie.

Yang arbeitet an diesen Ideen weiter, als er ein Praktikum bei Google Brain macht. Sein Betreuer dort ist Dr. Le Viet Quoc. Er ist Mitautor von zwei wichtigen Forschungsarbeiten: Transformer-XL und XLNet. Transformer-XL stellt eine neue Architektur vor. Sie hilft dem KI-Modell, längere Texte zu verarbeiten und zu merken. XLNet soll das Sprachverständnis von KI-Systemen besser machen.

Channel News Asia schreibt: Viele Quellen sagen, die Firma Apple will Yang einstellen. Aber Yang entscheidet, nach China zurückzugehen und dort zu arbeiten.

Bevor er Moonshot AI gründet, arbeitet Yang an vielen großen KI-Projekten mit. Zum Beispiel an PanGu von Huawei und an Wu Dao. Wu Dao ist ein großes multimodales KI-Modell vom Beijing Academy of Artificial Intelligence (BAAI). Er ist auch Mitgründer von Recurrent AI. Das ist ein Start-up. Es nutzt KI, um Gespräche im Verkauf zu analysieren und Firmen zu helfen, besser zu arbeiten.

Anfang 2023 gründet Yang mit Kollegen die Firma Moonshot AI. Die Firma macht Kimi. Das Team hat bei vielen wichtigen KI-Technologien mitgeholfen, zum Beispiel bei Transformer-XL, RoPE, Group Normalization, ShuffleNet, MuonClip und Mooncake. Das schreibt Business Insider.

Stark bleiben im harten Wettbewerb

Anfang letztes Jahr hat das KI-Labor DeepSeek aus China sein Modell R1 vorgestellt. R1 ist auf der ganzen Welt sehr erfolgreich. Danach hat Yang Zhilin ein großes Problem. Viele Leute denken, das ist ein Test für das Leben seiner Start-up-Firma Moonshot AI.

Der 34-jährige Gründer trägt oft eine Brille. Er kann den ersten Erfolg von Kimi, dem Chatbot der Firma, nicht nutzen. Laut Financial Times hat Kimi in dieser Zeit oft Probleme mit Überlastung. Größere Konkurrenten sind schnell besser als Kimi. Zur gleichen Zeit gibt es ein Gerichtsverfahren gegen Yang. Ein Investor aus seinem früheren Start-up verklagt ihn. Außerdem gibt es Gerüchte: Yang und ein Mitgründer haben in einer frühen Finanzierungsrunde Anteile von Moonshot verkauft. Yang sagt, das stimmt nicht. Aber Moonshot bekommt trotzdem viel ungewollte Aufmerksamkeit.

Viele Leute in der chinesischen KI-Branche fragen damals: Kann Moonshot in diesem harten und teuren Wettbewerb überleben? Der Wettbewerb geht um die Entwicklung von neuen großen Sprachmodellen. Ein Investor, der die Finanzen der Firma kennt, sagt: Im Jahr 2024 macht Moonshot nur 2,4 Millionen US-Dollar Umsatz. Aber die Kosten für das Training der Modelle und für neue Forscher werden viel höher. Einige Konkurrenten... [Der Quelltext endet hier.]