Tôi đã thử chạy inference nội bộ trên iPhone để tóm tắt nội dung họp. Sử dụng Whisper (model nhỏ) cho chuyển giọng nói, và các LLM đã quantize (≤2‑3 tỷ tham số) chuyển sang CoreML để tăng tốc. Kết quả: chạy offline, tốc độ ổn, nhưng tiêu thụ pin cao, cần giới hạn tần suất inference. Các mô hình nhỏ cho summarization trên di động là lựa chọn tốt. #LLM #iOS #LocalAI #Offline #Privacy #TríTuệNhânTạo #iPhone #TómTắtCuộcHọp

https://www.reddit.com/r/LocalLLaMA/comments/1qmutct/anyone_running_local_ll

Tôi đã thử chạy inference nội bộ trên iPhone để tóm tắt nội dung họp. Sử dụng Whisper (model nhỏ) cho chuyển giọng nói, và các LLM đã quantize (≤2‑3 tỷ tham số) chuyển sang CoreML để tăng tốc. Kết quả: chạy offline, tốc độ ổn, nhưng tiêu thụ pin cao, cần giới hạn tần suất inference. Các mô hình nhỏ cho summarization trên di động là lựa chọn tốt. #LLM #iOS #LocalAI #Offline #Privacy #TríTuệNhânTạo #iPhone #TómTắtCuộcHọp

https://www.reddit.com/r/LocalLLaMA/comments/1qmutct/anyone_running_local_ll

🔥 Một SDK mới cho phép chạy AI trực tiếp trên iPhone mà không cần kết nối API (hỗ trợ LLM, VLM, Stable Diffusion)! Nhà phát triển muốn nhận góp ý **trên Reddit** để cải thiện công cụ. #AI #iOS #SDK #LocalAI #PhátTriểnApp #KuzcoSDK #KhôngGửiDữLiệuRaMạng #ChatGPTThayThe

https://www.reddit.com/r/LocalLLaMA/comments/1ql9jzp/roast_me_built_an_sdk_for_ios_apps_to_run_ai_on/

🔥 Một SDK mới cho phép chạy AI trực tiếp trên iPhone mà không cần kết nối API (hỗ trợ LLM, VLM, Stable Diffusion)! Nhà phát triển muốn nhận góp ý **trên Reddit** để cải thiện công cụ. #AI #iOS #SDK #LocalAI #PhátTriểnApp #KuzcoSDK #KhôngGửiDữLiệuRaMạng #ChatGPTThayThe

https://www.reddit.com/r/LocalLLaMA/comments/1ql9jzp/roast_me_built_an_sdk_for_ios_apps_to_run_ai_on/

If you can run FLUX and SDXL locally, you really don’t need cloud AI services anymore.

No subscriptions, no prompt logging, no rate limits, just full control.



And no, you don’t need an RTX 5090 or a Radeon AI PRO R9700 (I’d love to have one though xD).

Every image here was rendered on an AMD RX 6700 XT, a mid-range GPU from 2021, not even officially supported by ROCm.



Local models. Local compute. Local freedom.



#SDXL #StableDiffusion #LocalAI #GenerativeArt #OpenSource #FOSS #PrivacyFirst #NoCloud #AMD #RX6700XT #ROCm #Linux #AIArt #DiffusionModels #CreativeCoding #MidrangeGPU #SelfHosted #Decentralized

If you can run FLUX and SDXL locally, you really don’t need cloud AI services anymore.

No subscriptions, no prompt logging, no rate limits, just full control.



And no, you don’t need an RTX 5090 or a Radeon AI PRO R9700 (I’d love to have one though xD).

Every image here was rendered on an AMD RX 6700 XT, a mid-range GPU from 2021, not even officially supported by ROCm.



Local models. Local compute. Local freedom.



#SDXL #StableDiffusion #LocalAI #GenerativeArt #OpenSource #FOSS #PrivacyFirst #NoCloud #AMD #RX6700XT #ROCm #Linux #AIArt #DiffusionModels #CreativeCoding #MidrangeGPU #SelfHosted #Decentralized