Open-Source-GPT-Chat hat mit der Veröffentlichung des Dolly Large Language Model (DLL) des Unternehmenssoftwareunternehmens Databricks einen weiteren Schritt nach vorne gemacht.
Der neue ChatGPT-Klon heißt Dolly, benannt nach dem berühmten gleichnamigen Schaf, dem ersten geklonten Säugetier.
Open-Source-Large-Language-Modelle
Das Dolly LLM ist die neueste Manifestation der wachsenden Open-Source-KI-Bewegung, die einen besseren Zugang zu der Technologie bieten möchte, damit sie nicht von großen Unternehmen monopolisiert und kontrolliert wird.
Eine der Bedenken, die die Open-Source-KI-Bewegung antreiben, ist, dass Unternehmen möglicherweise zögern, sensible Daten an Dritte zu übergeben, die die KI-Technologie kontrollieren.
Basierend auf Open-Source
Dolly wurde aus einem Open-Source-Modell erstellt, das vom gemeinnützigen EleutherAI-Forschungsinstitut und der Stanford University erstellt wurde Alpaka-Modell die selbst, die aus der 65-Milliarden-Parameter-Open-Source erstellt wurde LLaMA-Modell erstellt von Meta.
LLaMA steht für Large Language Model Meta AI und ist ein Sprachmodell, das auf öffentlich zugänglichen Daten trainiert wird.
Laut einem Artikel von Gewichtungen und Vorurteilekann LLaMA viele der Top-Sprachmodelle (OpenAI GPT-3, Gopher von Deep Mind und Chinchilla von DeepMind) übertreffen, obwohl es kleiner ist.
Erstellen eines besseren Datensatzes
Eine weitere Inspiration kam von einer akademischen Forschungsarbeit (SELF-INSTRUCT: Aligning Language Model with Self Generated Instructions Pdf), in dem ein Weg skizziert wurde, qualitativ hochwertige automatisch generierte Frage-und-Antwort-Trainingsdaten zu erstellen, die besser sind als die begrenzten öffentlichen Daten.
Das Forschungspapier von Self-Instruct erklärt:
„… wir kuratieren eine Reihe von von Experten verfassten Anweisungen für neuartige Aufgaben und zeigen durch menschliche Bewertung, dass die Optimierung von GPT3 mit SELF-INSTRUCT die Verwendung bestehender öffentlicher Anweisungsdatensätze um ein Vielfaches übertrifft und nur eine absolute Lücke von 5 % hinter InstructGPT hinterlässt…
…Durch die Anwendung unserer Methode auf Vanilla GPT3 demonstrieren wir eine absolute Verbesserung von 33 % gegenüber dem Originalmodell auf SUPERNATURALINSTRUCTIONS, auf Augenhöhe mit der Leistung von InstructGPT… das mit privaten Benutzerdaten und menschlichen Anmerkungen trainiert wird.“
Die Bedeutung von Dolly besteht darin, dass es zeigt, dass ein nützliches großes Sprachmodell mit einem kleineren, aber qualitativ hochwertigen Datensatz erstellt werden kann.
Databricks beobachtet:
„Dolly arbeitet, indem er ein vorhandenes Open-Source-6-Milliarden-Parametermodell von EleutherAI nimmt und es geringfügig modifiziert, um Anweisungen zu erhalten, die Fähigkeiten wie Brainstorming und Textgenerierung befolgen, die im ursprünglichen Modell nicht vorhanden sind, wobei Daten von Alpaca verwendet werden.
…Wir zeigen, dass jeder ein veraltetes, handelsübliches Open-Source-Large-Language-Model (LLM) nehmen und ihm magische ChatGPT-ähnliche Instruktionsbefolgen-Fähigkeiten verleihen kann, indem er es in 30 Minuten auf einem Computer unter Verwendung hochwertiger Trainingsdaten trainiert.
Überraschenderweise scheint das Befolgen von Anweisungen nicht die neuesten oder größten Modelle zu erfordern: Unser Modell umfasst nur 6 Milliarden Parameter, verglichen mit 175 Milliarden bei GPT-3.“
Databricks Open-Source-KI
Dolly soll KI demokratisieren. Es ist Teil einer Kleiderbewegung, der sich kürzlich die gemeinnützige Mozilla-Organisation mit der Gründung von Mozilla.ai angeschlossen hat. Mozilla ist der Herausgeber des Firefox-Browsers und anderer Open-Source-Software.
Lesen Sie die vollständige Ankündigung von Databricks:
Hallo Dolly: Die Magie von ChatGPT mit offenen Modellen demokratisieren
