Top Open-Source KI Projekte auf GitHub: Robotics, Video, LLM & Mehr!

Willkommen zurück auf unserem Kanal! Diese Woche tauchen wir tief in die aufregende Welt der Open-Source-KI-Projekte auf GitHub ein. Wir werden uns einige der Top-Trending-Repositories ansehen, die die Spielregeln für Entwickler und KI-Enthusiasten verändern. Von KI-Tools über fortschrittliche Videobearbeitung bis hin zu Robotik – all das ist Open Source und auf GitHub verfügbar. Also schnappen Sie sich Ihr Popcorn, und los geht's!

Projekt 1: Genesis – Eine Revolution in der Robotik und KI

Wir starten mit einem wirklich aufregenden Projekt namens Genesis. Genesis ist ein universelles und generatives Physik-Engine für Robotik und darüber hinaus. Dies ist nicht nur ein weiterer Physiksimulator; es ist ein völlig neuer Ansatz, wie wir Roboter und KI entwickeln und trainieren.

Was Genesis so einzigartig macht? Nun, zunächst einmal wurde es von Grund auf neu aufgebaut als ein universelles Physik-Engine, das in der Lage ist, eine breite Palette von Materialien und physikalischen Phänomenen zu simulieren.

Das bedeutet, dass Genesis alles von starren Körpern bis hin zu Flüssigkeiten, Gasen, verformbaren Objekten und granularen Materialien verarbeiten kann. Es ist auch unglaublich schnell und erreicht über 43 Millionen FPS bei der Simulation eines Roboterarms mit einer einzigen RTX 4090, was 430.000 Mal schneller als Echtzeit ist! Über die Geschwindigkeit hinaus ist Genesis auch plattformübergreifend und funktioniert nativ unter Linux, macOS und Windows und auf verschiedenen Compute-Backends. Es integriert auch verschiedene Physik-Solver wie Rigid Body, MPM, SPH, FEM, PBD und Stable Fluid in einen einzigen vereinheitlichten Framework.

Aber hier ist der eigentliche Game Changer: Genesis zielt darauf ab, ein generatives Daten-Engine zu sein. Das bedeutet, dass es natürliche Sprachprompts in verschiedene Formen von Daten umwandeln kann, was unglaublich nützlich für das Training von Robotern ist. Obwohl diese generative Funktion schrittweise eingeführt wird, umfasst die aktuelle Open-Source-Version das Core Physics Engine und die Simulationsplattform. Insgesamt zielt das Projekt darauf ab, die Eintrittsbarriere für die Robotikforschung zu senken, indem Physik-Solver vereinheitlicht und der menschliche Aufwand bei der Datengenerierung minimiert wird. Sie begrüßen auch Community-Beiträge zur Verbesserung von Genesis. Dieses Projekt ist definitiv etwas, das man im Auge behalten sollte, und ich werde einen Link zu ihrer GitHub-Seite in der Beschreibung unten einfügen.

Genesis wurde mit dem Ziel entwickelt, die Hürden für die Nutzung von Physiksimulationen abzubauen und die Robotikforschung für jedermann zugänglich zu machen. Das Open-Source-Projekt ist unter der Apache 2.0 Lizenz lizenziert und steht der Community zur freien Verfügung.

Wichtige Merkmale von Genesis:

• Geschwindigkeit: Genesis bietet eine beispiellose Simulationsgeschwindigkeit von über 43 Millionen FPS bei der Simulation eines Franka-Roboterarms mit einer einzigen RTX 4090 (430.000 Mal schneller als Echtzeit).
• Plattformübergreifend: Genesis läuft nativ auf verschiedenen Systemen (Linux, MacOS, Windows) und über verschiedene Compute-Backends (CPU, Nvidia GPU, AMD GPU, Apple Metal).
• Vereinheitlichung verschiedener Physik-Solver: Genesis entwickelt einen vereinheitlichten Simulations-Framework, der verschiedene Physik-Solver integriert: Rigid Body, MPM, SPH, FEM, PBD, Stable Fluid.
• Unterstützung für eine breite Palette von Materialmodellen: Genesis unterstützt die Simulation (und die Kopplung) von starren und gelenkigen Körpern, verschiedene Arten von Flüssigkeiten, gasförmigen Phänomenen, verformbaren Objekten, dünnwandigen Schalenobjekten und granularen Materialien.
• Unterstützung für eine breite Palette von Robotern: Roboterarm, Beinroboter, Drohne, Soft Robot usw. und umfassende Unterstützung für das Laden verschiedener Dateitypen: MJCF (.xml), URDF (.urdf), OBJ (.obj), GLB (.glb), PLY (.ply), STL (.stl) usw.
• Fotorealistischer und hochleistungsfähiger Ray-Tracer: Genesis unterstützt natives Raytracing-basiertes Rendering.
• Differenzierbarkeit: Genesis ist so konzipiert, dass es vollständig mit differenzierbarer Simulation kompatibel ist. Der MPM-Solver und der Tool-Solver sind derzeit differenzierbar, und die Differenzierbarkeit für andere Solver wird bald hinzugefügt (beginnend mit der Rigid-Body-Simulation).
• Physikbasierter taktiler Sensor: Genesis beinhaltet ein physikbasiertes und differenzierbares taktiles Simulationsmodul. Dieses wird bald in die öffentliche Version integriert (voraussichtlich in Version 0.3.0).
• Benutzerfreundlichkeit: Genesis ist so konzipiert, dass die Verwendung von Simulation so einfach wie möglich ist. Von der Installation bis zum API-Design, wenn Sie etwas als unintuitiv oder schwierig empfinden, lassen Sie es uns bitte wissen.

Hitems AI: Eine One-Click Plattform zur Produkterstellung

Bevor wir zum nächsten Projekt kommen, stellen wir HiTEMS AI vor, Ihre One-Click-Plattform zur Produkterstellung. Haben Sie es satt, sich abzumühen, Ihre Produktideen zum Leben zu erwecken? HiTEMS AI ist eine revolutionäre Plattform, die künstliche Intelligenz nutzt, um Produktdesign und -erstellung zum Kinderspiel zu machen.

Aber das ist noch nicht alles. Anlässlich des Starts von HiTEMS AI veranstalten sie ein spannendes Event für alle. Nehmen Sie also an diesem herausfordernden Event teil und kreieren Sie Ihr einzigartiges Produkt oder Item basierend auf dem Event-Thema, und Sie haben die Chance, kostenlose Produkte zu erhalten. Wenn Sie also eine erstaunliche Idee für ein neues Produkt haben oder Ihr eigenes Design erstellen möchten, melden Sie sich einfach mit Ihrer E-Mail-Adresse an und kreieren Sie Ihren einzigartigen Stil.

Zum Beispiel gehen Sie zuerst auf die Homepage und scrollen Sie dann nach unten, wo Sie die erste Herausforderung sehen, die Keycap Lovers Assemble ist. Klicken Sie einfach darauf und Sie erhalten die Herausforderung. Klicken Sie danach auf Jetzt teilnehmen, um an der Herausforderung teilzunehmen, und schreiben Sie dann einen Prompt, was auch immer Sie wollen, und klicken Sie auf die Schaltfläche Design. Nach einem Klick sehen Sie, dass das Ergebnis fertig ist. Wenn Ihr Design fertig ist, wählen Sie einfach ein Design aus, das Sie posten möchten, nachdem Sie es ausgewählt haben. Klicken Sie auf die Schaltfläche Weiter. Geben Sie nun denselben Prompt ein und klicken Sie dann auf die Schaltfläche Post. Jetzt können Sie überprüfen, ob Ihr Design gepostet wurde.

Das ist HiTEMS AI, Ihre One-Click-Lösung, um Ideen in unglaubliche Produkte zu verwandeln. Sind Sie bereit, die Leistungsfähigkeit von HiTEMS AI selbst zu erleben? Gehen Sie zur HiTEMS AI Seite, den Link finden Sie in der Beschreibung, um Ihre kostenlose Testversion zu starten und die Zukunft der Produkterstellung freizuschalten.

Die wichtigsten Vorteile von HiTEMS AI:

• Benutzerfreundlichkeit: HiTEMS AI macht Produktdesign und -erstellung zum Kinderspiel, auch für Benutzer ohne Vorkenntnisse in KI oder Design.
• Kreativität: Die Plattform bietet Benutzern die Möglichkeit, ihre eigenen Designs zu erstellen und ihre kreativen Ideen zum Leben zu erwecken.
• Community: HiTEMS AI bietet eine Plattform für Benutzer, um sich zu vernetzen, zusammenzuarbeiten und sich gegenseitig zu inspirieren.
• Chancen: Die Plattform bietet Benutzern die Möglichkeit, kostenlose Produkte zu gewinnen und ihre Designs der Welt zu präsentieren.

Projekt 2: LTX-Video – Hochwertige Videoerzeugung in Echtzeit

Wir tauchen ein in ein spannendes Projekt im KI-Bereich namens LTX-Video, hochqualitative Videoerzeugung in Echtzeit. Dies ist nicht nur ein weiteres Videoerzeugungsmodell, sondern ein hochmodernes Tool, das die Grenzen von Geschwindigkeit und Qualität verschiebt. Was LTX-Video wirklich einzigartig macht, ist, dass es das erste DIT-basierte Modell ist, das in der Lage ist, qualitativ hochwertige Videos mit 24 FPS und einer Auflösung von 768 x 512 zu erzeugen, und zwar schneller, als es dauern würde, sie anzusehen. Dieses Modell wurde mit einem riesigen Datensatz verschiedener Videos trainiert, wodurch es realistische und vielfältige hochauflösende Inhalte generieren kann.

Sie können es sofort mit den Online-Demos ausprobieren, die auf HF Playground, Replicate und Fal.ai verfügbar sind. Für diejenigen, die es vorziehen, die Dinge lokal auszuführen, ist die Codebasis mit Python 3.10.5, CUDA Version 12.2 und PyTorch 2.12 kompatibel. Das Projekt unterstützt sowohl Text-zu-Video- als auch Bild-zu-Video-Generierung und ist somit an verschiedene kreative Arbeitsabläufe anpassbar. Es bietet auch Integrationsoptionen für ComfyUI und Diffusers. Darüber hinaus hat die Community eine optimierte 8-Bit-Version namens LTX-VideoQ8 für eine schnellere Leistung auf NVIDIA ADA GPUs entwickelt. Das Team von Lightricks ermutigt die Community zu Beiträgen zur Verbesserung von LTX-Video.

Die wichtigsten Vorteile von LTX-Video:

• Hochwertige Videoerzeugung: Das Modell ist in der Lage, realistische und vielfältige hochauflösende Videos zu erzeugen.
• Echtzeit-Verarbeitung: Das Modell kann Videos schneller als Echtzeit erzeugen, was es ideal für interaktive Anwendungen macht.
• Flexibilität: Das Modell unterstützt sowohl Text-zu-Video- als auch Bild-zu-Video-Generierung und kann an verschiedene kreative Arbeitsabläufe angepasst werden.
• Open Source: Das Modell ist Open Source, sodass Entwickler es frei verwenden, modifizieren und erweitern können.

Projekt 3: ComfyUI-Hunyuan Loom – Fortschrittliche Videobearbeitung mit KI

Wir tauchen ein in ein faszinierendes Projekt namens ComfyUI-Hunyuan Loom, ein leistungsstarkes Tool für die KI-Videobearbeitung. Dies ist nicht nur eine weitere Videobearbeitungssoftware, sondern ein Satz benutzerdefinierter Nodes für ComfyUI, der speziell entwickelt wurde, um die Leistungsfähigkeit des Hunyuan-Videomodells für die fortschrittliche Videobearbeitung zu nutzen. Was dieses Projekt wirklich auszeichnet, ist seine Implementierung der FlowEdit-Technik, die es Ihnen ermöglicht, sehr spezifische Änderungen an Videos vorzunehmen, indem Sie sowohl Quell- als auch Zielprompts verwenden, und auch die experimentelle Unterstützung für regionales Prompting.

Durch das experimentelle regionale Prompting, können Sie Prompt-Texte gezielt auf bestimmte Bereiche innerhalb eines Videos anwenden. Die Nodes unterstützen eine differenzierte Bearbeitung und lassen es Ihnen die Bearbeitungsprozesse in 3 Step Verfahren zu unterteilen.

Die wichtigsten Merkmale von ComfyUI-Hunyuan Loom:

• FlowEdit-Technik: Ermöglicht das Anwenden spezifischer Änderungen an Videos mit Quell- und Zielprompts.
• Regionales Prompting: Ermöglicht das Anwenden von Prompts auf bestimmte Bereiche eines Videos im Zeitverlauf.
• Offene Architektur: Bietet die Möglichkeit, Workflows zu erstellen und anzupassen, die genau auf Ihre Bedürfnisse zugeschnitten sind.

Projekt 4: Rememberall – Sicheres, langfristiges Gedächtnis für LLMs

Als nächstes schauen wir uns Rememberall an, eine sichere Long-Term Memory-Lösung für LLMs.

Dies ist nicht nur ein weiteres KI-Tool, sondern eine robuste Open-Source-Lösung, die eine langfristige Speicherlösung für Ihre benutzerdefinierten GPTS und andere KI-Anwendungen bietet.

Was Rememberall auszeichnet, ist die Fähigkeit, Ihrer KI zu ermöglichen, sich Details aus vergangenen Konversationen zu merken, was zu viel kontextbezogeneren Interaktionen führt. Sie können persistentes Gedächtnis freischalten, indem Sie einfach @rememberall in Ihrem benutzerdefinierten GPT-Systemprompt erwähnen, wodurch die KI nahtlos relevante Informationen speichern und abrufen kann.

Für Entwickler bietet Rememberall eine Reihe von Funktionen, die sowohl auf Flexibilität als auch auf Sicherheit ausgelegt sind. Es basiert auf einem Privacy-First-Ansatz, der es Ihnen ermöglicht, Ihren Speicher selbst zu hosten. Es verwendet ein Vektor-basiertes System für effiziente semantische Suche, wodurch es einfach ist, die Informationen zu finden, die Ihre KI benötigt. Das System enthält eine unkomplizierte REST-API für einfache Integration. Die Open Source Lösung ermöglicht es Ihnen die Funktionalitäten selbst anzupassen und zu erweitern. Sicherheit hat Priorität durch End-to-End-Verschlüsselung und granulare Zugriffskontrolle. Die Daten werden immer nach den Richtlinien der DSGVO behandelt. Das Projekt ist hauptsächlich in Javascript geschrieben.

Projekt 5: GitHub Copilot for Xcode – Ihr KI-Paarprogrammierer

Wir werfen einen Blick auf ein unglaublich nützliches Tool namens GitHub COPILOT for Xcode, einen KI-Paarprogrammierer.

Dies ist nicht nur ein weiterer Code-Editor, sondern eine Xcode-Erweiterung, die von KI angetrieben wird und Ihnen helfen soll, Code schneller und effizienter zu schreiben.

Was GitHub Copilot for Xcode einzigartig macht, ist seine Fähigkeit, Inline-Code-Vorschläge während der Eingabe zu geben. Das bedeutet, dass Sie Echtzeitunterstützung mit KI-gestützten Vorschlägen direkt in Ihrem Code-Editor erhalten, was den Codierungsprozess erheblich beschleunigen kann. Dieses Tool ist vollgepackt mit Funktionen, um Ihre Codierungserfahrung zu verbessern. Es bietet intelligente Codevervollständigung, sodass Sie keine vollständigen Codezeilen eingeben müssen. Es ist, als ob Sie einen KI-Paarprogrammierer haben, der direkt mit Ihnen zusammenarbeitet.

GitHub Copilot für Xcode benötigt macOS 12+ und Xcode 8+. Um es zu nutzen, benötigen Sie ein GitHub Copilot-Abonnement. Sie können die Erweiterung über Homebrew installieren oder die DMG-Datei aus dem neuesten Release herunterladen. Nach der ersten Ausführung der Anwendung müssen Sie die Zugriffsberechtigungen erteilen und die Xcode-Source-Editor-Erweiterung manuell aktivieren. Es wird empfohlen, die vorausschauende Codevervollständigung in den Xcode-Einstellungen zu deaktivieren. Um eine Codezeile anzunehmen, können Sie die Tab-Taste drücken. Halten Sie die Optionstaste gedrückt, wenn Sie den vollständigen Vorschlag sehen möchten. Halten Sie zum Annehmen des vollständigen Vorschlags die Optionstaste gedrückt und drücken Sie die Tab-Taste. Das Projekt steht unter der MIT Open Source-Lizenz auf GitHub.

Projekt 6: ComfyUI-LTXTricks: Zusätzliche Steuerelemente für das LTX-Video Modell

ComfyUI-LTXTricks bietet zusätzliche Steuerungsmöglichkeiten für das LTX-Video Modell. Ein wirklich tolles Set von Anpassungs- und Bearbeitungswerkzeugen, die auf dem ComfyUI-Framework aufbauen, wodurch sich vollkommen neue Möglichkeiten der Videobearbeitung eröffnen.

Das Framework beinhaltet wichtige Funktionen für die Arbeit mit dem LTX-Video Modell, darunter:

• RF-Inversion
• RF-Edit
• FlowEdit
• Image zu Video

Projekt 7: Opik – Das Open-Source LLM Evaluierungs-Framework

Opik ist ein Open-Source LLM Evaluations-Framework, für die automatisierte Bewertung von LLM Anwendungen. Mit seinen hilfreichen Metriken, können die Entwickler ihre LLM Applikationen bewerten, optimieren und die Performance messen.

Das Framework beinhaltet:

• Tracing
• Annotations
• Evaluierung
• Datensets and Experiments
• Monitoring

Projekt 8: Official Xiaomi Integration – Die Steuerung ihrer Xiaomi Geräte im Home Assistant

Hier geht es um Integration. Mit der offiziellen Xiaomi Integration lassen sich Xiaomi Smart Home Geräte ganz einfach in Ihren Home Assistant. So gelingt die optimale Smart Home Umgebung. Diese Integration beinhaltet einen OAuth 2.0 Login für mehr Sicherheit.

Hier finden Sie die Github Repositories:

• Genesis: github.com/Genesis-Embodied-AI/Genesis
• LTX-Video: github.com/Lightricks/LTX-Video
• ComfyUI-Hunyuan Loom: github.com/logtd/ComfyUI-HunyuanLoom
• rememberall: github.com/wrannaman/rememberall
• GitHub Copilot for Xcode: github.com/github/CopilotForXcode
• ComfyUI-LTXTricks: github.com/logtd/ComfyUI-LTXTricks
• Opik: github.com/comet-ml/opik
• Official Xiaomi Integration: github.com/XiaomiMi/ha_xiaomi_home