Open-Source LLMs: Unzensierte & sichere KI lokal auf dem PC (Udemy.com)
Private ChatGPT-Alternativen: Llama, Mistral, DeepSeek, Function Calling, RAG, Vektordatenbanken, LangChain & KI-Agenten
Created by: Arnold Oberleiter
Last updated July 2026
What you will learn
- Warum Open-Source LLMs? Unterschiede, Vorteile und Nachteile von Open-Source und Closed-Source LLMs
- Was sind LLMs wie ChatGPT, Llama, Mistral, Phi3, Qwen2-72B-Instruct, Grok usw.
- Welche LLMs gibt es und was soll ich verwenden? "Die besten LLMs" finden
- Voraussetzungen für die lokale Nutzung von Open-Source LLMs
- Installation und Verwendung von LM Studio, Anything LLM, Ollama und alternative Methoden zum Betrieb von LLMs
- Zensierte vs. unzensierte LLMs
- Finetuning eines Open-Source-Modells mit Huggingface oder Google Colab
- Vision (Bilderkennung) mit Open-Source LLMs: Llama3, Llava & Phi3 Vision
- Details zur Hardware: GPU Offload, CPU, RAM und VRAM
- Alles zu HuggingChat: Ein Interface für die Nutzung von Open-Source LLMs
- Systemprompts im Prompt Engineering + Function Calling
- Prompt Engineering Basics: Semantic Association, strukturierte & Rollen-Prompts
How it compares
Against the other 518 rated Udemy courses in Software Development on CourseDuck:
- Rating4.6 out of 5higher than 62% of them
- Reviews375#263 of 519 by number of reviews
- Length8.2 hourslonger than 61% of them
- Last updatedJuly 2026more recently than 80% of them
Course Description
ChatGPT ist gut und recht. Aber ist dir schon mal aufgefallen, dass es sehr viele Zensuren gibt, man in politische Richtungen gedrückt wird, teilweise harmlose Fragen nicht beantwortet werden und dass unsere Daten bei OpenAI eventuell nicht sicher sind?
Genau hier können Open-Source LLMs wie Llama, Mistral, Qwen, Minimax, Gemma, Ornith, Falkon, und DeepSeek helfen!
Bist du bereit, die Feinheiten von Open-Source LLMs zu meistern und ihr volles Potenzial für verschiedene Anwendungen zu nutzen, von Datenanalyse bis zur Erstellung von Chatbots und KI-Agenten? Dann ist dieser Kurs für dich!
Einführung in Open-Source LLMs
Dieser Kurs bietet eine umfassende Einführung in die Welt der Open-Source LLMs. Du lernst die Unterschiede zwischen Open-Source und Closed-Source Modellen kennen und erfährst, warum Open-Source LLMs eine attraktive Alternative darstellen. Themen wie ChatGPT, Llama, und Mistral werden ausführlich behandelt. Außerdem wirst du lernen, welche LLMs es gibt und wie du die besten Modelle für deine Bedürfnisse auswählst. Ein besonderes Augenmerk liegt auf den Nachteilen von Closed-Source LLMs und den Vor- und Nachteilen von Open-Source LLMs wie Llama3 und Mistral.
Praktische Anwendung von Open-Source LLMs
Der Kurs zeigt dir den einfachsten Weg, Open-Source LLMs lokal auszuführen und was du dafür benötigst. Du erfährst alles über die Voraussetzungen, die Installation von LM Studio und alternative Methoden zum Betrieb von LLMs. Zudem wirst du lernen, wie du Open-Source-Modelle in LM Studio nutzt, den Unterschied zwischen zensierten und unzensierten LLMs verstehst und verschiedene Anwendungszwecke erkundest. Auch das Finetuning eines Open-Source-Modells mit Huggingface oder Google Colab sowie die Nutzung von Vision-Modellen zur Bilderkennung werden behandelt.
Prompt Engineering und Cloud-Einsatz
Ein wichtiger Teil des Kurses ist das Prompt Engineering für Open-Source LLMs. Du wirst lernen, wie du HuggingChat als Interface nutzt, Systemprompts im Prompt Engineering einsetzt und grundlegende sowie fortgeschrittene Techniken des Prompt Engineerings anwendest. Der Kurs bietet dir auch Einblicke in die Erstellung eigener Assistenten in HuggingChat und die Nutzung von Open-Source LLMs mit schnellen LPU-Chips statt GPUs.
Function Calling, RAG und Vektordatenbanken
Erfahre, was Function Calling bei LLMs ist und wie du Vektordatenbanken, Embedding-Modelle und Retrieval-Augmented Generation (RAG) implementierst. Der Kurs zeigt dir, wie du Anything LLM installierst, einen lokalen Server einrichtest und einen RAG-Chatbot mit Anything LLM und LM Studio erstellst. Du wirst auch lernen, Function Calling mit Llama 3 und Anything LLM durchzuführen und Daten zusammenzufassen, zu speichern und mit Python zu visualisieren.
Optimierung und KI-Agenten
Für die Optimierung deiner RAG-Apps erhältst du Tipps zur Datenvorbereitung und effizienten Nutzung von Tools wie LlamaIndex und LlamaParse. Darüber hinaus wirst du in die Welt der KI-Agenten eingeführt. Du lernst, was KI-Agenten sind, welche Tools zur Verfügung stehen und wie du Flowise lokal mit Node.js installierst und nutzt. Der Kurs bietet dir auch praktische Einblicke in die Erstellung eines KI-Agenten, der Python-Code und Dokumentationen erstellt, sowie die Nutzung von Function Calling und Internetzugriff.
Weitere Anwendungen und Tipps
Abschließend bietet der Kurs eine Einführung in Text-to-Speech (TTS) mit Google Colab und das Finetuning von Open-Source LLMs mit Google Colab. Du erfährst, wie du GPUs bei Anbietern wie Runpod oder Massed Compute mietest, wenn dein lokaler PC nicht ausreicht. Zudem lernst du innovative Werkzeuge wie Microsoft Autogen und CrewAI kennen und wie du LangChain für die Entwicklung von KI-Agenten nutzt.
Nutze die transformative Kraft der Open-Source LLM-Technologie, um innovative Lösungen zu entwickeln und dein Verständnis ihrer vielfältigen Anwendungen zu erweitern. Melde dich noch heute an und beginne deine Reise, ein Experte in der Welt der großen Sprachmodelle zu werden!
Instructor Details
- 4.6 Rating
375 Reviews
Arnold Oberleiter
English text below the German text!
Hallo zusammen,
Ich bin Arnold "Arnie" Oberleiter, Dozent im Bereich Künstliche Intelligenz.
Es ist mein Ziel, mein Wissen und meine Begeisterung für KI mit euch zu teilen.
Ich glaube fest daran, dass ein tiefes Verständnis von KI einen enormen Vorteil in unserer technologiegetriebenen Welt bietet. Ich befasse mich mit LLMs (die Technologie hinter ChatGPT) bereits seit 2018-2019, als es mit Transformer & DIffusion losging.
Arnie
English:
Hi everyone,
I’m Arnold “Arnie” Oberleiter, an instructor in the field of artificial intelligence.
My goal is to share my knowledge and enthusiasm for AI with you.
I strongly believe that a deep understanding of AI offers a huge advantage in our technology-driven world. I’ve been working with LLMs — the technology behind ChatGPT — since 2018–2019, back when Transformers and diffusion models started taking off.
Arnie
More courses by Arnold Oberleiter
AI Automation: Build LLM Apps & AI-Agents with n8n & APIs (2026)
4.5 (9,762 Reviews)
Provider: Udemy
Time: 14.5h
$10.99
AI-Agents: Automation & Business with LangChain & LLM Apps (2026)
4.5 (4,938 Reviews)
Provider: Udemy
Time: 10.3h
$24.99
Microsoft Copilot: AI in Excel, Word, PowerPoint & More (2026)
4.6 (3,083 Reviews)
Provider: Udemy
Time: 5.8h
$79.99
All of AI: ChatGPT, Midjourney, Stable Diffusion & App Dev (2026)
4.4 (2,481 Reviews)
Provider: Udemy
Time: 35.3h
$109.99
Open-source LLMs: Uncensored & secure AI locally with RAG (2026)
4.4 (1,931 Reviews)
Provider: Udemy
Time: 10.1h
$13.99
ChatGPT & KI meistern: ChatGPT, Midjourney, Leonardo & mehr (2026)
4.3 (1,803 Reviews)
Provider: Udemy
Time: 29.1h
$13.99
More Software Development courses
MATLAB Programming Simulink: Beginner to Pro with ChatGPT (2026)
5.0 (930 Reviews)
Provider: Udemy
Time: 9.6h
$10.99
Build Web Apps with Nuxt.js 3: Master TypeScript & API [New] (2026)
4.9 (635 Reviews)
Provider: Udemy
Time: 6.7h
$19.99
Universidad Java con ChatGPT - IA Generativa Cero a Experto! (2026)
4.9 (125 Reviews)
Provider: Udemy
Time: 25.3h
$12.99
60+ Herramientas de desarrollo y diseño web - 2018
4.8 (5,369 Reviews)
Provider: Udemy
Time: 8.2h
Free
Reviews
By Bernd Ritter on 8/23/2026
Es ist der erste Kurs, der mich wirklich positiv überrascht, da der Kurs einen sehr umfangreichen Einblick in den Umgang und die Anpassung von LLMs sowie die Integration eines LLM zugeschnitten auf die eigenen Bedürfnisse unterstützen könnte. Es ist noch sehr früh für eine Bewertung, ich bin sehr gespannt. Könnte für "Phantastisch" reichen, aber sehen wir erst einmal. Der Kurs entspricht voll und ganz meinen Erwartungen.
By Marcus Gessner on 3/25/2026
Das ist einer des besten Kurse zum Thema KI, der sowohl privat als auch geschäftlich einen enormen Wissensschub ausgelöst hat. Es gibt wirklich unheimlich viele Anwendungsmöglichkeiten für das Wissen, welches hier vermittelt wird. Der Kurs ist verständlich und kurzweilig gestaltet und es gibt eine Community, die einem hilft, noch tiefer in das Thema einzusteigen. Ich bin sehr begeistert. Danke Arnie!
By Marcel Gruner on 9/22/2025
Wie man es von dem Dozenten Arnie gewöhnt ist: umfassend, auf den Punkt, direkt und schnörkellos erklärt. Breites Fachwissen einfach kommuniziert. Dazu sein Charm und sein unverwechselbarer Dialekt, den ich persönlich sehr mag. Der Kurs ist gut gegliedert, präsentiert als Einstieg in die KI Welt die grundlegenden Basics, Tools und Möglichkeiten, lässt viel Raum für eigenes Experimentieren und schafft damit den Spagat zwischen theoretischem KnowHow und dem Aha-Effect des Ausprobierens. Dabei lässt Arnie einen nie im Regen stehen, sondern zeigt gezielt wie es geht, was man braucht, worauf man achten soll und wo die Grenzen liegen. Gerade das verschweigen viele andere Dozenten. Arnie nicht, er redet Klartext und das rechne ich ihm sehr hoch an und macht den Kurs und seine Arbeit so wertvoll. Danke dafür. Ich habe wieder einmal viel gelernt.
By Nick Grosmann on 8/11/2025
Der Kurs vermittelt solides Wissen – keine Frage. Den letzten Abschnitt in puncto Sicherheit fand ich sehr interessant. Mir fehlte allerdings ein tieferer Einblick in die Optimierung von LLMs. Fine-Tuning wurde zwar beschrieben, also wie das Modell vor der Verwendung trainiert werden kann, jedoch nicht, wie man ein bereits fertiges Modell so anpasst, dass es auf die eigenen Wünsche und Vorlieben reagiert. Ist der Kurs im Angebot, lohnt es sich auf jeden Fall, ihn zu machen. Zum regulären Preis finde ich ihn allerdings etwas zu teuer. Für jemanden, der noch nie etwas mit KI gemacht hat, ist er auf jeden Fall empfehlenswert. Wer sich jedoch schon etwas mit dem Thema beschäftigt hat, wird vermutlich weniger Nutzen daraus ziehen.
By Martin Althaus on 3/6/2025
Ein guter Einstieg, bleibt aber an vielen Stellen eher oberflächlich. Es ist ein Rundumschlag in der Welt der Open Source KI - es wird viel angesprochen, aber eben viel auch nur so weit angerissen, dass man es zwar irgendwie nachspielen kann, aber für meine Begriffe nicht so tief, dass man damit wirklich mehr weitermachen kann. Gerade im letzten Drittel läuft es viel darauf hinaus, dass einfach bestehende Tutorials/Beispiele durchgespielt werden. Der Vorteil ist, dass man sich die Dinge nicht selbst suchen muss, der Nachteil ist, dass es oft nicht viel tiefer geht als das, was ohnehin in den Tutorials ist - bzw. diese noch sehr abgekürzt werden. Also: Für mich war es an vielen Stellen interessant, es ist ein guter Anfang, ich habe aber mir nebenher noch viele Dinge selbst gesucht, z.B. was steckt wirklich hinter der RAG-Technologie, wie funktioniert es. Die Erklärungen im Kurs gehen über ein High-Level-Bild, wie RAG sich in die Sache einbettet, leider nicht hinaus. Leider gibt es kein Skript, mit dem man selbst die Dinge noch mal memorieren kann, oder eben auch noch mal kurz etwas nachschlagen kann und die Wiederholungen am Ende der Kapitel sind zwar nett gemeint, münden aber immer wieder in eine längere Werbebotschaft. Deshalb habe ich noch einen Stern abgezogen. Fazit: Nimmt den Mund voller, als am Ende gehalten wurde
By Patrick Reinhard on 1/3/2025
Sehr wertvoller Kurs für einen tiefen Einblick in die KI-Welt und deren Möglichkeiten. Arnie hat ein unglaubliches Fachwissen und erklärt die Dinge sehr ausführlich. Hat mir bei meinem Studium sehr geholfen und ich kann heute Dinge wesentlich speditiver erledigen und erlernen als vorher. Zudem hat es für mich eine neue Perspektive in beruflicher Hinsicht geschaffen wofür ich sehr dankbar bin. Freue mich schon auf den nächsten Kurs bei Dir!
By Michael Hesse on 12/7/2024
Der Kurs vermittelt einen guten Überblick über verschiedene Tools und Konzepte. Die Inhalte werden auf sympathische und verständliche Art vermittelt. Leider fehlt es dann doch manchmal etwas an Tiefe. Offenbar gibt es hier noch mindestens 2 weitere Kurse vom selben Anbieter zum Thema LLMs und KI-Agenten. Warum nicht alles in einen Kurs packen? Das wirkt nicht fair. Und gegen Ende des Kurses hat Arnie dann sogar gelernt, wie man das Wort billion ins Deutsche übersetzt. Ein Extra-Sternchen dafür.
By Heinrich Spreiter on 10/2/2024
Ich schreibe dies als Software Entwickler, der in die Welt der generativen KI und LLM eintauchen und Applikationen schreiben will. Mein Ziel war es, nach dem ich den Kurs "Generative AI for beginners" von Microsoft gemacht habe, mein Wissen zu vertiefen. Im Allgemeinen wie ich LLMs verwenden kann und was es für Tools gibt um mit ihnen zu interagieren und im Speziellen wollte ich tiefer in die Konzepte RAD, KI Agenten, Function Calling und Prompt Engineering eintauchen. Und hier vermisse ich etwas tiefe: Wie genau sieht ein function call aus? Wie werden bei KI Agenten Worker ausgewählt und koordiniert? Das zusammenklicken ist gut und recht und ich habe hier auch keinen Kurs für Software Entwickler erwartet der mir Code zeigt, jedoch wären solche Konzepte tiefer zu veranschaulichen meiner Meinung nach wichtig. Nichts desto trotz ist dies ein 5 Sterne Kurs mit Ausrufezeichen welcher unglaublich viel nützliches Wissen vermittelt und ich freue mich jetzt auf den nächsten Kurs mit Arnie: KI-Agenten: Automation & Business mit LangChain & LLM Apps
By Dominik Placidi on 9/30/2024
Zu Beginn muss ich gestehen, dass mich die Stimme des Kursleiters ein wenig verunsichert hat und ich das Gefühl hatte, leicht auf den Arm genommen zu werden. Doch bereits nach den ersten drei Videos hat sich eine so starke zwischenmenschliche Bindung entwickelt, dass ich den Kurs fast am Stück durchgeschaut habe – wie gefesselt! Der Kurs vermittelt ein umfassendes und dennoch tiefgehendes Wissen zu allen gängigen LLM-Modellen. Es gibt nicht nur trockene Theorie, sondern es geht direkt in die Praxis über. Die Inhalte sind durchweg gelungen und hervorragend strukturiert. Ich empfehle diesen Kurs jedem, der nicht nur die theoretischen Grundlagen von LLM-Modellen erlernen, sondern auch praktisch verstehen möchte, wie man LLMs lokal laufen lässt und komplexe KI-Agents erstellt. Absolut empfehlenswert! 10/10
By Ludwig F. on 8/15/2024
Im Kurs werden eine Fülle von Beispielen gezeigt, wie LLMs direkt auf eigenem PC ausgeführt werden können, bis hin zu RAG und Bildung von Agenten, die verschiedene Modelle kombinieren. Für mich ist es weitgehend Neuland und es fasziniert, mit kleineren Modellen lokal auf dem eigenen PC experimentieren zu können.
Quality Score
No CourseDuck member has rated this course yet. Taken it? Give each part a thumbs up or down.
Overall Score : 92 / 100









![Build Web Apps with Nuxt.js 3: Master TypeScript & API [New]](/programming/software-development/images/6457785_5adc_4.jpg?v=1789443959)


