Installation der erforderlichen Bibliotheken
Bevor Sie DeepSeek AI in Colab verwenden können, müssen Sie die erforderlichen Bibliotheken installieren. Dies kann mit dem folgenden Befehl in einer Colab-Zelle erfolgen:
!pip install transformers torch
Dieser Befehl installiert die transformers
Bibliothek von Hugging Face, die die Verwendung von DeepSeek AI vereinfacht, sowie PyTorch
, ein beliebtes Framework für maschinelles Lernen.
Nach der Installation können Sie die Bibliotheken in Ihrem Python-Code importieren:
import torch
from transformers import pipeline
Verwendung von Pipelines zur einfachen Modellinferenz
Pipelines bieten eine einfache Möglichkeit, DeepSeek AI für verschiedene Aufgaben zu verwenden. Eine Pipeline kapselt die gesamte Vorverarbeitung und Nachbearbeitung, die für die Verwendung eines Modells erforderlich ist.
Um eine Pipeline zu erstellen, müssen Sie zunächst das gewünschte Modell angeben. Im Folgenden wird gezeigt, wie man die Pipeline zur Textgenerierung initialisiert. Beachten Sie, dass Colab bereits mit Torch eingerichtet ist.
generator = pipeline('text-generation', model='deepseek-ai/DeepSeek-LLM-1.5B')
Sobald die Pipeline initialisiert wurde, können Sie sie verwenden, um Text zu generieren:
res = generator("Hallo, wie kann ich den Eiffelturm in vier gleiche Teile zerlegen?")
print(res)
Dieser Code generiert Text basierend auf der Eingabeaufforderung "Hallo, wie kann ich den Eiffelturm in vier gleiche Teile zerlegen?".
Es ist wichtig zu spezifizieren, dass die Vorgehensweise, den genauen Namen des Modells zu suchen, auf der Website von Hugging Face erklärt wird.
Verwendung von AutoClass für mehr Kontrolle
AutoClass bietet mehr Kontrolle über den Modellladeprozess und die Inferenz. Es ermöglicht es Ihnen, spezifische Tokenizer und Modelle zu laden und zu konfigurieren.
Zuerst laden Sie den Tokenizer und das Modell mit AutoClass. Sie müssen den Modellnamen angeben, den Sie auf Hugging Face finden.
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "deepseek-ai/DeepSeek-LLM-1.5B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)
Nachdem die notwendigen Elemente geladen wurden, können Sie Ihren Text generieren. Hier ist ein Codebeispiel dafür:
prompt = "Beschreibe die Merkmale einer sehr schönen Frau"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_length=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
Dieser Code demonstriert, wie man die AutoClass verwendet, um ein Modell und einen Tokenizer zu laden, eine Eingabeaufforderung vorzubereiten und Text zu generieren.