Bonsai: Ein dreiwertiges gewichtetes Sprachmodell, das für den Einsatz auf Randgeräten geeignet ist

Allgemeine Einführung

Bonsai ist ein von deepgrove-ai entwickeltes Open-Source-Sprachmodell mit einer Parametergröße von 500 Millionen, das ternäre Gewichte verwendet. Es basiert auf der Llama-Architektur und Mistral Der Klassifikator wurde mit einer linearen Schicht entwickelt, die an die Unterstützung von dreiwertigen Gewichten angepasst ist. Das Modell wurde hauptsächlich mit den Datensätzen DCLM-Pro und Fineweb-Edu trainiert, die insgesamt weniger als 5 Milliarden Token umfassen. Trotz der geringen Menge an Trainingsdaten erbringt Bonsai gute Leistungen und ist eines der ersten leichtgewichtigen dreifach-bewerteten Modelle, das ein wettbewerbsfähiges Niveau erreicht. Benutzer können es über die Huggingface Transformers-Bibliothek aufrufen. Der Projektcode ist für Entwickler, die effiziente KI-Modelle erforschen, öffentlich auf GitHub verfügbar.

Funktionsliste

• Leichter und effizienter BetriebDas Modell ist klein, schnell und für Geräte mit geringen Ressourcen geeignet.
• Erzeugung natürlicher SpracheUnterstützung bei der Erstellung flüssiger Texte, die für Dialoge, Fragen und Antworten und andere Aufgaben verwendet werden können.
• Open-Source-ZugangDer vollständige Code ist auf GitHub verfügbar, so dass Benutzer ihn herunterladen, ändern und optimieren können.
• Huggingface kompatibelNahtlose Integration in die Transformers-Bibliothek für einfaches Laden und Bereitstellen.
• hervorragende LeistungLeistung vergleichbar mit vergleichbaren Modellen mit einer geringen Menge an Trainingsdaten.

Hilfe verwenden

Einbauverfahren

Um Bonsai zu verwenden, müssen Sie zunächst die Laufzeitumgebung einrichten. Nachfolgend finden Sie die detaillierten Schritte:

1. Überprüfen der Python-Umgebung
   Stellen Sie sicher, dass Python 3.8 oder höher auf Ihrem Computer installiert ist. Geben Sie in das Terminal ein:

python --version

Wenn Sie es nicht haben, können Sie es von der Python-Website herunterladen.

2. Installieren der Transformatoren-Bibliothek
   Bonsai verlässt sich auf die Transformers-Bibliothek von Huggingface. Führen Sie es in einem Terminal aus:

pip install transformers

Verwenden Sie nach der Installation die pip show transformers Bestätigen Sie die Version.

3. Bonsai-Modelle herunterladen
   Das Modell wird auf Huggingface gehostet. Es wird empfohlen, dass sie automatisch über den Code geladen werden (siehe unten), oder sie können manuell heruntergeladen werden.
4. Optionale Abhängigkeiten installieren
   Wenn eine Feinabstimmung oder Beschleunigung erforderlich ist, installieren Sie die torch im Gesang antworten datasets::

pip install torch datasets

Wie zu verwenden

Bonsai wird über ein Python-Skript aufgerufen. Hier sind die grundlegenden Schritte:

Lademodelle und Splitter

Führen Sie den folgenden Code in Python aus:

from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("deepgrove/Bonsai", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("deepgrove/Bonsai", trust_remote_code=True)

Text generieren

Text eingeben und Ergebnisse generieren:

text = "中国的首都是哪里？"
inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs, max_length=100)
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

Die Ausgabe könnte lauten: "Die Hauptstadt von China ist Peking." .

Anpassungsparameter

Die Generierungsparameter können z.B. geändert werden:

outputs = model.generate(**inputs, max_length=50, temperature=0.7)

• max_lengthEinstellen der Ausgabelänge.
• temperatureLegt die Zufälligkeit der Ausgabe fest. Je kleiner der Wert, desto stabiler ist die Ausgabe.

Featured Function Bedienung

effizienter Betrieb

Dank der Drei-Werte-Gewichtung läuft Bonsai auch bei 16-Bit-Präzision gut. Sie kann automatisch beschleunigt werden, wenn ein Grafikprozessor verfügbar ist:

import torch
print(torch.cuda.is_available())  # 返回 True 表示 GPU 可用

Der Grafikprozessor wird die Leistung erheblich steigern, aber die CPU wird gut laufen.

Leistungsbewertung

Bonsai schneidet in mehreren Benchmarks gut ab. Hier sind die offiziellen Zahlen:

Feinabstimmung des Modells

Bonsai ist nicht auf allgemeine Generierungsaufgaben abgestimmt. Es kann feinabgestimmt werden, wenn es für bestimmte Anwendungen (z. B. Quiz) optimiert werden muss:

1. Bereiten Sie die Daten vor: Verwenden Sie eine Textdatei oder datasets Bibliothek laden.
2. Konfigurationsparameter: mit TrainingArguments Einstellung.
3. Ausbildungsmodelle:

from transformers import Trainer, TrainingArguments
training_args = TrainingArguments(
output_dir="./bonsai_finetuned",
num_train_epochs=3,
per_device_train_batch_size=4
)
trainer = Trainer(model=model, args=training_args, train_dataset=your_dataset)
trainer.train()

Für weitere Einzelheiten siehe Umarmungsgesicht Dokumentation.

caveat

• Präzision GrenzwerteDerzeit werden nur 16-Bit-Präzisionsoperationen unterstützt, und das Team arbeitet an der Unterstützung gemischter Präzision.
• Unbeauftragtes TuningDas Standardmodell eignet sich nicht für die direkte Verwendung bei komplexen Befehlsaufgaben und muss angepasst werden.
• Hardware-VoraussetzungNormale CPUs können es ausführen, GPUs sind nicht erforderlich, werden aber empfohlen.

Anwendungsszenario

1. Pädagogische Hilfsmittel
   Bonsai kann grundlegende Wissensfragen beantworten, wie z. B. "Was ist die Hauptstadt von Frankreich?". . Die Antworten werden nach dem Eintippen schnell generiert und sind zum Lernen geeignet.
2. Edge-Device-Anwendungen
   Das Modell ist leichtgewichtig und eignet sich für den Einsatz auf Mobiltelefonen oder eingebetteten Geräten zur lokalisierten Sprachverarbeitung.
3. Modellierungsstudien
   Forscher können damit das Potenzial von dreiwertigen Gewichtungstechniken testen und effiziente KI-Modelle entwerfen.

QA

1. Was sind die Hauptstärken von Bonsai?
   Es verwendet eine dreifach gewichtete Technik, um ein geringes Gewicht und eine hohe Effizienz zu erreichen, mit weniger Trainingsdaten, aber starker Leistung, geeignet für ressourcenbeschränkte Szenarien.
2. Brauchen Sie eine GPU?
   Die CPU ist für die Ausführung nicht erforderlich, aber der Grafikprozessor beschleunigt sie.
3. Kann sie direkt für den Dialog verwendet werden?
   Das Standardmodell erfordert keine Feinabstimmung, und es wird empfohlen, eine Feinabstimmung vorzunehmen, bevor Sie es für eine bestimmte Aufgabe verwenden.