Skip to content
UdemySoftware DevelopmentPaid courseAll LevelsCertificate

Open-Source LLMs: Unzensierte & sichere KI lokal auf dem PC (Udemy.com)

Private ChatGPT-Alternativen: Llama, Mistral, DeepSeek, Function Calling, RAG, Vektordatenbanken, LangChain & KI-Agenten

Created by: Arnold Oberleiter

Last updated July 2026

icon
What you will learn

  • Warum Open-Source LLMs? Unterschiede, Vorteile und Nachteile von Open-Source und Closed-Source LLMs
  • Was sind LLMs wie ChatGPT, Llama, Mistral, Phi3, Qwen2-72B-Instruct, Grok usw.
  • Welche LLMs gibt es und was soll ich verwenden? "Die besten LLMs" finden
  • Voraussetzungen für die lokale Nutzung von Open-Source LLMs
  • Installation und Verwendung von LM Studio, Anything LLM, Ollama und alternative Methoden zum Betrieb von LLMs
  • Zensierte vs. unzensierte LLMs
  • Finetuning eines Open-Source-Modells mit Huggingface oder Google Colab
  • Vision (Bilderkennung) mit Open-Source LLMs: Llama3, Llava & Phi3 Vision
  • Details zur Hardware: GPU Offload, CPU, RAM und VRAM
  • Alles zu HuggingChat: Ein Interface für die Nutzung von Open-Source LLMs
  • Systemprompts im Prompt Engineering + Function Calling
  • Prompt Engineering Basics: Semantic Association, strukturierte & Rollen-Prompts

How it compares

Against the other 518 rated Udemy courses in Software Development on CourseDuck:

  • Rating4.6 out of 5higher than 62% of them
  • Reviews375#263 of 519 by number of reviews
  • Length8.2 hourslonger than 61% of them
  • Last updatedJuly 2026more recently than 80% of them

icon
Course Description

ChatGPT ist gut und recht. Aber ist dir schon mal aufgefallen, dass es sehr viele Zensuren gibt, man in politische Richtungen gedrückt wird, teilweise harmlose Fragen nicht beantwortet werden und dass unsere Daten bei OpenAI eventuell nicht sicher sind?

Genau hier können Open-Source LLMs wie Llama, Mistral, Qwen, Minimax, Gemma, Ornith, Falkon, und DeepSeek helfen!


Bist du bereit, die Feinheiten von Open-Source LLMs zu meistern und ihr volles Potenzial für verschiedene Anwendungen zu nutzen, von Datenanalyse bis zur Erstellung von Chatbots und KI-Agenten? Dann ist dieser Kurs für dich!

Einführung in Open-Source LLMs

Dieser Kurs bietet eine umfassende Einführung in die Welt der Open-Source LLMs. Du lernst die Unterschiede zwischen Open-Source und Closed-Source Modellen kennen und erfährst, warum Open-Source LLMs eine attraktive Alternative darstellen. Themen wie ChatGPT, Llama, und Mistral werden ausführlich behandelt. Außerdem wirst du lernen, welche LLMs es gibt und wie du die besten Modelle für deine Bedürfnisse auswählst. Ein besonderes Augenmerk liegt auf den Nachteilen von Closed-Source LLMs und den Vor- und Nachteilen von Open-Source LLMs wie Llama3 und Mistral.

Praktische Anwendung von Open-Source LLMs

Der Kurs zeigt dir den einfachsten Weg, Open-Source LLMs lokal auszuführen und was du dafür benötigst. Du erfährst alles über die Voraussetzungen, die Installation von LM Studio und alternative Methoden zum Betrieb von LLMs. Zudem wirst du lernen, wie du Open-Source-Modelle in LM Studio nutzt, den Unterschied zwischen zensierten und unzensierten LLMs verstehst und verschiedene Anwendungszwecke erkundest. Auch das Finetuning eines Open-Source-Modells mit Huggingface oder Google Colab sowie die Nutzung von Vision-Modellen zur Bilderkennung werden behandelt.

Prompt Engineering und Cloud-Einsatz

Ein wichtiger Teil des Kurses ist das Prompt Engineering für Open-Source LLMs. Du wirst lernen, wie du HuggingChat als Interface nutzt, Systemprompts im Prompt Engineering einsetzt und grundlegende sowie fortgeschrittene Techniken des Prompt Engineerings anwendest. Der Kurs bietet dir auch Einblicke in die Erstellung eigener Assistenten in HuggingChat und die Nutzung von Open-Source LLMs mit schnellen LPU-Chips statt GPUs.

Function Calling, RAG und Vektordatenbanken

Erfahre, was Function Calling bei LLMs ist und wie du Vektordatenbanken, Embedding-Modelle und Retrieval-Augmented Generation (RAG) implementierst. Der Kurs zeigt dir, wie du Anything LLM installierst, einen lokalen Server einrichtest und einen RAG-Chatbot mit Anything LLM und LM Studio erstellst. Du wirst auch lernen, Function Calling mit Llama 3 und Anything LLM durchzuführen und Daten zusammenzufassen, zu speichern und mit Python zu visualisieren.

Optimierung und KI-Agenten

Für die Optimierung deiner RAG-Apps erhältst du Tipps zur Datenvorbereitung und effizienten Nutzung von Tools wie LlamaIndex und LlamaParse. Darüber hinaus wirst du in die Welt der KI-Agenten eingeführt. Du lernst, was KI-Agenten sind, welche Tools zur Verfügung stehen und wie du Flowise lokal mit Node.js installierst und nutzt. Der Kurs bietet dir auch praktische Einblicke in die Erstellung eines KI-Agenten, der Python-Code und Dokumentationen erstellt, sowie die Nutzung von Function Calling und Internetzugriff.

Weitere Anwendungen und Tipps

Abschließend bietet der Kurs eine Einführung in Text-to-Speech (TTS) mit Google Colab und das Finetuning von Open-Source LLMs mit Google Colab. Du erfährst, wie du GPUs bei Anbietern wie Runpod oder Massed Compute mietest, wenn dein lokaler PC nicht ausreicht. Zudem lernst du innovative Werkzeuge wie Microsoft Autogen und CrewAI kennen und wie du LangChain für die Entwicklung von KI-Agenten nutzt.

Nutze die transformative Kraft der Open-Source LLM-Technologie, um innovative Lösungen zu entwickeln und dein Verständnis ihrer vielfältigen Anwendungen zu erweitern. Melde dich noch heute an und beginne deine Reise, ein Experte in der Welt der großen Sprachmodelle zu werden!

icon
Udemy Discount

The discount is applied through our link. Open the course from here and Udemy's current promotional price is applied at checkout on most courses, no code to type.

Some courses are excluded from Udemy's promotions. If the price does not drop, clear your browser cookies and use the button again.

icon
Instructor Details

Arnold Oberleiter

English text below the German text!


Hallo zusammen,

Ich bin Arnold "Arnie" Oberleiter, Dozent im Bereich Künstliche Intelligenz.

Es ist mein Ziel, mein Wissen und meine Begeisterung für KI mit euch zu teilen.

Ich glaube fest daran, dass ein tiefes Verständnis von KI einen enormen Vorteil in unserer technologiegetriebenen Welt bietet. Ich befasse mich mit LLMs (die Technologie hinter ChatGPT) bereits seit 2018-2019, als es mit Transformer & DIffusion losging.

Arnie


English:


Hi everyone,

I’m Arnold “Arnie” Oberleiter, an instructor in the field of artificial intelligence.

My goal is to share my knowledge and enthusiasm for AI with you.

I strongly believe that a deep understanding of AI offers a huge advantage in our technology-driven world. I’ve been working with LLMs — the technology behind ChatGPT — since 2018–2019, back when Transformers and diffusion models started taking off.

Arnie

icon
More courses by Arnold Oberleiter

$10.99

$24.99

$79.99

$109.99

$13.99

$13.99

icon
More Software Development courses

$10.99

$109.99

$19.99

$19.99

$12.99

Free

icon
Reviews

4.6

375 ratings on Udemy

Select a bar to show only those reviews.Select the bar again to show every rating.

By Bernd Ritter on 8/23/2026

Es ist der erste Kurs, der mich wirklich positiv überrascht, da der Kurs einen sehr umfangreichen Einblick in den Umgang und die Anpassung von LLMs sowie die Integration eines LLM zugeschnitten auf die eigenen Bedürfnisse unterstützen könnte. Es ist noch sehr früh für eine Bewertung, ich bin sehr gespannt. Könnte für "Phantastisch" reichen, aber sehen wir erst einmal. Der Kurs entspricht voll und ganz meinen Erwartungen.

By Marcus Gessner on 3/25/2026

Das ist einer des besten Kurse zum Thema KI, der sowohl privat als auch geschäftlich einen enormen Wissensschub ausgelöst hat. Es gibt wirklich unheimlich viele Anwendungsmöglichkeiten für das Wissen, welches hier vermittelt wird. Der Kurs ist verständlich und kurzweilig gestaltet und es gibt eine Community, die einem hilft, noch tiefer in das Thema einzusteigen. Ich bin sehr begeistert. Danke Arnie!

By Marcel Gruner on 9/22/2025

Wie man es von dem Dozenten Arnie gewöhnt ist: umfassend, auf den Punkt, direkt und schnörkellos erklärt. Breites Fachwissen einfach kommuniziert. Dazu sein Charm und sein unverwechselbarer Dialekt, den ich persönlich sehr mag. Der Kurs ist gut gegliedert, präsentiert als Einstieg in die KI Welt die grundlegenden Basics, Tools und Möglichkeiten, lässt viel Raum für eigenes Experimentieren und schafft damit den Spagat zwischen theoretischem KnowHow und dem Aha-Effect des Ausprobierens. Dabei lässt Arnie einen nie im Regen stehen, sondern zeigt gezielt wie es geht, was man braucht, worauf man achten soll und wo die Grenzen liegen. Gerade das verschweigen viele andere Dozenten. Arnie nicht, er redet Klartext und das rechne ich ihm sehr hoch an und macht den Kurs und seine Arbeit so wertvoll. Danke dafür. Ich habe wieder einmal viel gelernt.

By Nick Grosmann on 8/11/2025

Der Kurs vermittelt solides Wissen – keine Frage. Den letzten Abschnitt in puncto Sicherheit fand ich sehr interessant. Mir fehlte allerdings ein tieferer Einblick in die Optimierung von LLMs. Fine-Tuning wurde zwar beschrieben, also wie das Modell vor der Verwendung trainiert werden kann, jedoch nicht, wie man ein bereits fertiges Modell so anpasst, dass es auf die eigenen Wünsche und Vorlieben reagiert. Ist der Kurs im Angebot, lohnt es sich auf jeden Fall, ihn zu machen. Zum regulären Preis finde ich ihn allerdings etwas zu teuer. Für jemanden, der noch nie etwas mit KI gemacht hat, ist er auf jeden Fall empfehlenswert. Wer sich jedoch schon etwas mit dem Thema beschäftigt hat, wird vermutlich weniger Nutzen daraus ziehen.

By Martin Althaus on 3/6/2025

Ein guter Einstieg, bleibt aber an vielen Stellen eher oberflächlich. Es ist ein Rundumschlag in der Welt der Open Source KI - es wird viel angesprochen, aber eben viel auch nur so weit angerissen, dass man es zwar irgendwie nachspielen kann, aber für meine Begriffe nicht so tief, dass man damit wirklich mehr weitermachen kann. Gerade im letzten Drittel läuft es viel darauf hinaus, dass einfach bestehende Tutorials/Beispiele durchgespielt werden. Der Vorteil ist, dass man sich die Dinge nicht selbst suchen muss, der Nachteil ist, dass es oft nicht viel tiefer geht als das, was ohnehin in den Tutorials ist - bzw. diese noch sehr abgekürzt werden. Also: Für mich war es an vielen Stellen interessant, es ist ein guter Anfang, ich habe aber mir nebenher noch viele Dinge selbst gesucht, z.B. was steckt wirklich hinter der RAG-Technologie, wie funktioniert es. Die Erklärungen im Kurs gehen über ein High-Level-Bild, wie RAG sich in die Sache einbettet, leider nicht hinaus. Leider gibt es kein Skript, mit dem man selbst die Dinge noch mal memorieren kann, oder eben auch noch mal kurz etwas nachschlagen kann und die Wiederholungen am Ende der Kapitel sind zwar nett gemeint, münden aber immer wieder in eine längere Werbebotschaft. Deshalb habe ich noch einen Stern abgezogen. Fazit: Nimmt den Mund voller, als am Ende gehalten wurde

By Patrick Reinhard on 1/3/2025

Sehr wertvoller Kurs für einen tiefen Einblick in die KI-Welt und deren Möglichkeiten. Arnie hat ein unglaubliches Fachwissen und erklärt die Dinge sehr ausführlich. Hat mir bei meinem Studium sehr geholfen und ich kann heute Dinge wesentlich speditiver erledigen und erlernen als vorher. Zudem hat es für mich eine neue Perspektive in beruflicher Hinsicht geschaffen wofür ich sehr dankbar bin. Freue mich schon auf den nächsten Kurs bei Dir!

By Michael Hesse on 12/7/2024

Der Kurs vermittelt einen guten Überblick über verschiedene Tools und Konzepte. Die Inhalte werden auf sympathische und verständliche Art vermittelt. Leider fehlt es dann doch manchmal etwas an Tiefe. Offenbar gibt es hier noch mindestens 2 weitere Kurse vom selben Anbieter zum Thema LLMs und KI-Agenten. Warum nicht alles in einen Kurs packen? Das wirkt nicht fair. Und gegen Ende des Kurses hat Arnie dann sogar gelernt, wie man das Wort billion ins Deutsche übersetzt. Ein Extra-Sternchen dafür.

By Heinrich Spreiter on 10/2/2024

Ich schreibe dies als Software Entwickler, der in die Welt der generativen KI und LLM eintauchen und Applikationen schreiben will. Mein Ziel war es, nach dem ich den Kurs "Generative AI for beginners" von Microsoft gemacht habe, mein Wissen zu vertiefen. Im Allgemeinen wie ich LLMs verwenden kann und was es für Tools gibt um mit ihnen zu interagieren und im Speziellen wollte ich tiefer in die Konzepte RAD, KI Agenten, Function Calling und Prompt Engineering eintauchen. Und hier vermisse ich etwas tiefe: Wie genau sieht ein function call aus? Wie werden bei KI Agenten Worker ausgewählt und koordiniert? Das zusammenklicken ist gut und recht und ich habe hier auch keinen Kurs für Software Entwickler erwartet der mir Code zeigt, jedoch wären solche Konzepte tiefer zu veranschaulichen meiner Meinung nach wichtig. Nichts desto trotz ist dies ein 5 Sterne Kurs mit Ausrufezeichen welcher unglaublich viel nützliches Wissen vermittelt und ich freue mich jetzt auf den nächsten Kurs mit Arnie: KI-Agenten: Automation & Business mit LangChain & LLM Apps

By Dominik Placidi on 9/30/2024

Zu Beginn muss ich gestehen, dass mich die Stimme des Kursleiters ein wenig verunsichert hat und ich das Gefühl hatte, leicht auf den Arm genommen zu werden. Doch bereits nach den ersten drei Videos hat sich eine so starke zwischenmenschliche Bindung entwickelt, dass ich den Kurs fast am Stück durchgeschaut habe – wie gefesselt! Der Kurs vermittelt ein umfassendes und dennoch tiefgehendes Wissen zu allen gängigen LLM-Modellen. Es gibt nicht nur trockene Theorie, sondern es geht direkt in die Praxis über. Die Inhalte sind durchweg gelungen und hervorragend strukturiert. Ich empfehle diesen Kurs jedem, der nicht nur die theoretischen Grundlagen von LLM-Modellen erlernen, sondern auch praktisch verstehen möchte, wie man LLMs lokal laufen lässt und komplexe KI-Agents erstellt. Absolut empfehlenswert! 10/10

By Ludwig F. on 8/15/2024

Im Kurs werden eine Fülle von Beispielen gezeigt, wie LLMs direkt auf eigenem PC ausgeführt werden können, bis hin zu RAG und Bildung von Agenten, die verschiedene Modelle kombinieren. Für mich ist es weitgehend Neuland und es fasziniert, mit kleineren Modellen lokal auf dem eigenen PC experimentieren zu können.

Showing all 10 reviews on CourseDuck

Read all 375 reviews on Udemy

icon
Quality Score

No CourseDuck member has rated this course yet. Taken it? Give each part a thumbs up or down.

Content Quality
/
Video Quality
/
Qualified Instructor
/
Course Pace
/
Course Depth & Coverage
/

Overall Score : 92 / 100