MNN-LLM-Android: MNN Multimodale Sprachmodellierung für Android

Allgemeine Einführung

MNN (Mobile Neural Network) ist ein effizientes, leichtgewichtiges Deep-Learning-Framework, das von Alibaba entwickelt und für mobile Geräte optimiert wurde. MNN ermöglicht nicht nur schnelle Inferenzen auf mobilen Geräten, sondern unterstützt auch multimodale Aufgaben wie Texterzeugung, Bilderzeugung und Audioverarbeitung usw. MNN wurde in mehrere Alibaba-Anwendungen wie Taobao, Tmall, Youku, Nail und Idle Fish integriert und deckt mehr als 70 Nutzungsszenarien ab, darunter Live-Streaming, kurze Videoaufnahmen, Suchempfehlungen und die Suche nach Produktbildern.

Funktionsliste

• multimodale UnterstützungUnterstützt eine Vielzahl von Aufgaben wie Texterstellung, Bilderzeugung und Audioverarbeitung.
• Optimierung der CPU-InferenzHervorragende CPU-Inferenzleistung auf mobilen Geräten.
• Leichtgewichtiger RahmenDas Framework ist so konzipiert, dass es leichtgewichtig ist und sich an die Ressourcenbeschränkungen mobiler Geräte anpasst.
• weit verbreitetEs ist in mehrere Anwendungen von Alibaba integriert und deckt ein breites Spektrum von Geschäftsszenarien ab.
• offene QuelleVollständiger Open-Source-Code und Dokumentation werden zur einfachen Integration und Weiterentwicklung bereitgestellt.

Hilfe verwenden

Ablauf der Installation

1. Herunterladen & InstallierenKlonen von Projektcode aus einem GitHub-Repository.

   git clone https://github.com/alibaba/MNN.git
   cd MNN
   

2. **Kompilieren Sie das Projekt**: Konfigurieren Sie die Kompilierumgebung und kompilieren Sie das Projekt gemäß der README-Datei, die vom Projekt bereitgestellt wird.
```bash
mkdir build
cd build
cmake ...
make -j4

3. Integration in Android-Anwendungen: Integrieren Sie die kompilierten Bibliotheksdateien in das Android-Projekt, indem Sie diebuild.gradleDatei für die Konfiguration.

Verwendung

multimodale Fähigkeit

MNN unterstützt eine Vielzahl von multimodalen Aufgaben, einschließlich Texterzeugung, Bilderzeugung und Audioverarbeitung. Im Folgenden finden Sie Beispiele für die Verwendung dieser Funktionen:

• TextgenerierungTextgenerierung mit Hilfe von vortrainierten Sprachmodellen.

  MNN importieren
  interpreter = MNN.Interpreter("text_model.mnn")
  Sitzung = interpreter.createSession()
  input_tensor = interpreter.getSessionInput(session)
  # Eingabetext für die Vorverarbeitung
  input_data = preprocess_text("Eingabetext")
  input_tensor.copyFrom(input_data)
  interpreter.runSession(session)
  ausgabe_tensor = interpreter.getSessionOutput(session)
  output_data = output_tensor.copyToHostTensor()
  result = postprocess_text(output_data)
  print(ergebnis)
  

• Bilderzeugung: Bilderzeugung mit vortrainierten generativen Modellen.

  MNN importieren
  interpreter = MNN.Interpreter("image_model.mnn")
  Sitzung = interpreter.createSession()
  input_tensor = interpreter.getSessionInput(session)
  # Eingabedaten für die Vorverarbeitung
  input_data = preprocess_image("input image")
  input_tensor.copyFrom(input_data)
  interpreter.runSession(session)
  ausgabe_tensor = interpreter.getSessionOutput(session)
  output_data = output_tensor.copyToHostTensor()
  Ergebnis = postprocess_image(output_data)
  print(ergebnis)
  

• AudioverarbeitungAudio-Generierung oder -Verarbeitung unter Verwendung von vorab trainierten Audiomodellen.

  MNN importieren
  interpreter = MNN.Interpreter("audio_model.mnn")
  Sitzung = interpreter.createSession()
  input_tensor = interpreter.getSessionInput(session)
  # Eingabe von Audiodaten für die Vorverarbeitung
  input_data = preprocess_audio("input audio")
  input_tensor.copyFrom(input_data)
  interpreter.runSession(session)
  ausgabe_tensor = interpreter.getSessionOutput(session)
  output_data = output_tensor.copyToHostTensor()
  Ergebnis = postprocess_audio(output_data)
  print(ergebnis)
  

Detaillierte Vorgehensweise

1. Erstellen von Reasoning-InstanzenInitialisieren des MNN-Modells und Erstellen einer Inferenzsitzung.

   MNN importieren
   interpreter = MNN.Interpreter("model.mnn")
   Sitzung = interpreter.createSession()
   

2. Vorverarbeitung der EingangsdatenVorverarbeitung der Eingabedaten entsprechend dem Modelltyp.

   input_tensor = interpreter.getSessionInput(session)
   input_data = preprocess_data("input data")
   input_tensor.copyFrom(input_data)
   

3. exekutive Argumentation: Führen Sie die Sitzung zur Argumentation durch.

   interpreter.runSession(session)
   

4. Nachbearbeitung der AusgabedatenAusgabe abrufen und nachbearbeiten.

   output_tensor = interpreter.getSessionOutput(session)
   output_data = output_tensor.copyToHostTensor()
   result = postprocess_data(output_data)
   print(ergebnis)