Chạy Llama 3.2 3B trực tiếp trên iPhone để đặt đồ ăn! 📱🍱

Một nhà phát triển vừa xây dựng thành công bản POC (Proof of Concept) cho phép mô hình ngôn ngữ lớn (LLM) chạy hoàn toàn on-device trên iPhone 16 Pro Max.

Điểm nổi bật:
- Tự thực hiện Tool Calling để tìm nhà hàng qua API Foursquare.
- Không cần Cloud AI: Mọi suy luận và xử lý phản hồi đều diễn ra trên máy.
- Stack: React Native, RunAnywhere SDK, Llama 3.2 3B.

#Llama3 #AI #OnDeviceAI #iPhone #ReactNative #OpenSource #CongNghe #LocalLLM

Chạy Llama 3.2 3B trực tiếp trên iPhone để đặt đồ ăn! 📱🍱

Một nhà phát triển vừa xây dựng thành công bản POC (Proof of Concept) cho phép mô hình ngôn ngữ lớn (LLM) chạy hoàn toàn on-device trên iPhone 16 Pro Max.

Điểm nổi bật:
- Tự thực hiện Tool Calling để tìm nhà hàng qua API Foursquare.
- Không cần Cloud AI: Mọi suy luận và xử lý phản hồi đều diễn ra trên máy.
- Stack: React Native, RunAnywhere SDK, Llama 3.2 3B.

#Llama3 #AI #OnDeviceAI #iPhone #ReactNative #OpenSource #CongNghe #LocalLLM

AMD dropped ROCm support for Radeon VII (gfx906) at v6.2.4. I wanted to run local LLMs on it anyway.

Found a community-maintained image on r/LocalLLaMA that packages ROCm 7.1 with llama.cpp for gfx906. One docker pull later, I had llama.cpp + Ollama + Qdrant + Open WebUI running on "unsupported" hardware.

Docker Hub is a library of solved problems.

Full story: https://bit.ly/4pTk3zf

#Docker #DockerCaptain #LocalLLM #AMD #ROCm #OpenSource #SelfHosted #MachineLearning

AMD dropped ROCm support for Radeon VII (gfx906) at v6.2.4. I wanted to run local LLMs on it anyway.

Found a community-maintained image on r/LocalLLaMA that packages ROCm 7.1 with llama.cpp for gfx906. One docker pull later, I had llama.cpp + Ollama + Qdrant + Open WebUI running on "unsupported" hardware.

Docker Hub is a library of solved problems.

Full story: https://bit.ly/4pTk3zf

#Docker #DockerCaptain #LocalLLM #AMD #ROCm #OpenSource #SelfHosted #MachineLearning