OpenAIs neues Modell o1, über das gerade alle reden, macht eine wesentliche Sache anders:
Es findet jetzt sehr viel mehr in der Inferenz statt. Ob man es „nachdenken“ oder „Berechnung“ nennt, ist egal. Entscheidend: es findet bei diesem Modell mehr Verarbeitung nach dem Input statt. Das kann dann gut eine halbe Minute und länger dauern.
Das ist spannend. In der Forschung schaut man sich auch bereits an, was an dieser Stelle passieren kann. Agenten wie Replit Agent etc. arbeiten ebenfalls bereits länger. Das interne Chain of Thought bei GPT-o1 dürfte auch agentenartige Vorgänge haben.
Wie dem auch sei. Die Variable Schnelligkeit für spezifische Outputqualität herabzustufen, macht interessante Optionen auf.
Was wird möglich, wenn wir Rechenzeiten etwa von Stunden oder Tagen in Kauf nehmen? Welche Art von Modellen können mit dieser Ausgangslage gebaut werden? Das ist dann etwas fundamental anderes als die in jüngster Zeit immer schneller und günstiger gewordenen Modelle.
Wir sehen hier also eine weitere Achse für Ausdifferenzierung auf der Modellebene. Mehr dazu auch heute später im neunetz.com-Briefing.
Wie immer auch lesenswert dazu die erste Einordnung von Ethan Mollick, der das Modell bereits einen Monat lang testen konnte (was seine kryptischen „da kommt noch mehr“-Kommentare die letzten Wochen ein bisschen erklärt):
Something New: On OpenAI’s „Strawberry“ and Reasoning:
So o1-preview does things that would have been impossible without Strawberry, but it still isn’t flawless: errors and hallucinations still happen, and it is still limited by the „intelligence“ of GPT-4o as the underlying model. Since getting the new model, I haven’t stopped using Claude to critique my posts – Claude is still better at style – but I did stop using it for anything involving complex planning or problem solving. It represents a huge leap in those areas.