Install llama.cpp, run GGUF models with llama-cli, and serve OpenAI-compatible APIs using llama-server. Key flags, examples, and tuning tips with a short commands cheatsheet

#Cheatsheet #GGUF #AI #LLM #DevOps #OpenAI #API #SelfHosting #CUDA #Prometheus #llama.cpp

https://www.glukhov.org/llm-hosting/llama-cpp/

Install llama.cpp, run GGUF models with llama-cli, and serve OpenAI-compatible APIs using llama-server. Key flags, examples, and tuning tips with a short commands cheatsheet

#Cheatsheet #GGUF #AI #LLM #DevOps #OpenAI #API #SelfHosting #CUDA #Prometheus #llama.cpp

https://www.glukhov.org/llm-hosting/llama-cpp/

#Tipp: Du hast einen Mac mit Apple Silicon Chip?

Hol' dir "Locally AI" aus dem App Store und lade dir verschiedene AI Modelle, wie #MistralAI, #Gemini, #Llama, direkt auf deinen #Mac oder greife auf das Apple Foundation Model zurück.

Wenn ich AI Modelle verwende, dann lokal auf meinem Rechner! Insbesondere für mehr #Datenschutz.

https://apps.apple.com/de/app/locally-ai-local-ai-chat/id6741426692

#KI #Apple #macOS #AI

#Tipp: Du hast einen Mac mit Apple Silicon Chip?

Hol' dir "Locally AI" aus dem App Store und lade dir verschiedene AI Modelle, wie #MistralAI, #Gemini, #Llama, direkt auf deinen #Mac oder greife auf das Apple Foundation Model zurück.

Wenn ich AI Modelle verwende, dann lokal auf meinem Rechner! Insbesondere für mehr #Datenschutz.

https://apps.apple.com/de/app/locally-ai-local-ai-chat/id6741426692

#KI #Apple #macOS #AI