For instance, I'm looking for useful #MachineLearning or #LLM libraries and tools in C. I've compiled a list of projects: https://lmemsm.dreamwidth.org/16168.html Would be nice to be able to discuss some of these options with other #C enthusiasts or how to put together some pipelines to use these in other projects.

AMD dropped ROCm support for Radeon VII (gfx906) at v6.2.4. I wanted to run local LLMs on it anyway.

Found a community-maintained image on r/LocalLLaMA that packages ROCm 7.1 with llama.cpp for gfx906. One docker pull later, I had llama.cpp + Ollama + Qdrant + Open WebUI running on "unsupported" hardware.

Docker Hub is a library of solved problems.

Full story: https://bit.ly/4pTk3zf

#Docker #DockerCaptain #LocalLLM #AMD #ROCm #OpenSource #SelfHosted #MachineLearning

AMD dropped ROCm support for Radeon VII (gfx906) at v6.2.4. I wanted to run local LLMs on it anyway.

Found a community-maintained image on r/LocalLLaMA that packages ROCm 7.1 with llama.cpp for gfx906. One docker pull later, I had llama.cpp + Ollama + Qdrant + Open WebUI running on "unsupported" hardware.

Docker Hub is a library of solved problems.

Full story: https://bit.ly/4pTk3zf

#Docker #DockerCaptain #LocalLLM #AMD #ROCm #OpenSource #SelfHosted #MachineLearning

🚀 Ứng dụng mới cho phép kết hợp RAM iPhone 17 Pro (12 GB) và Mac M1 Pro (32 GB) để chạy mô hình AI lớn hơn. Bottleneck là lớp giao tiếp → ưu tiên kết nối USB, iOS chỉ cho phép dùng ~6.4 GB. Hiệu năng giảm ~25 % so với chạy toàn trên Mac. Tải app trên App Store, link sẽ có trong bình luận.

#AI #MachineLearning #iOS #macOS #MLX #TechVietnam #CôngNghệ #iPhone #Mac #ML

https://www.reddit.com/r/LocalLLaMA/comments/1qk61v7/iosmacos_app_for_distributed_inference/

🚀 Ứng dụng mới cho phép kết hợp RAM iPhone 17 Pro (12 GB) và Mac M1 Pro (32 GB) để chạy mô hình AI lớn hơn. Bottleneck là lớp giao tiếp → ưu tiên kết nối USB, iOS chỉ cho phép dùng ~6.4 GB. Hiệu năng giảm ~25 % so với chạy toàn trên Mac. Tải app trên App Store, link sẽ có trong bình luận.

#AI #MachineLearning #iOS #macOS #MLX #TechVietnam #CôngNghệ #iPhone #Mac #ML

https://www.reddit.com/r/LocalLLaMA/comments/1qk61v7/iosmacos_app_for_distributed_inference/

Framework Desktop 64 GB có thể đủ cho người mới học AI (Python, PyTorch, inference 7B LLM, LoRA, RAG) nếu chỉ chạy mô hình nhẹ và không cần GPU mạnh. Nếu muốn mở rộng lên mô hình lớn hơn hoặc đa tác vụ, 128 GB sẽ an toàn hơn. Ngân sách < $2000, chọn máy có Linux/macOS, GPU phù hợp và bảo hành. #AI #MachineLearning #FrameworkDesktop #Linux #Mac #CôngNghệ #Vietnam #AIlearning

https://www.reddit.com/r/LocalLLaMA/comments/1qjyc42/is_framework_desktop_64gb_good_enough_for_ai/

Framework Desktop 64 GB có thể đủ cho người mới học AI (Python, PyTorch, inference 7B LLM, LoRA, RAG) nếu chỉ chạy mô hình nhẹ và không cần GPU mạnh. Nếu muốn mở rộng lên mô hình lớn hơn hoặc đa tác vụ, 128 GB sẽ an toàn hơn. Ngân sách < $2000, chọn máy có Linux/macOS, GPU phù hợp và bảo hành. #AI #MachineLearning #FrameworkDesktop #Linux #Mac #CôngNghệ #Vietnam #AIlearning

https://www.reddit.com/r/LocalLLaMA/comments/1qjyc42/is_framework_desktop_64gb_good_enough_for_ai/

Behind the scenes của AudioMuse-AI: phát triển phần mềm tạo playlist thông minh bằng học máy, tích hợp mô hình MSD Musicnn và CLAP để phân tích độ tương tự giữa bài hát. Đang tối ưu hóa CLAP thành phiên bản nhỏ hơn (80M → 8M tham số) để chạy hiệu quả trên máy đơn. Tự host, bảo mật, không phụ thuộc dịch vụ bên ngoài. Dự án mã nguồn mở, cảm ơn cộng đồng đã ủng hộ hơn 1000 sao trên GitHub! #AudioMuseAI #Selfhosted #MachineLearning #MusicTech #OpenSource #AI #HọcMáy #ÂmNhạc #CôngNghệ #MãNguồnMở

htt

Behind the scenes của AudioMuse-AI: phát triển phần mềm tạo playlist thông minh bằng học máy, tích hợp mô hình MSD Musicnn và CLAP để phân tích độ tương tự giữa bài hát. Đang tối ưu hóa CLAP thành phiên bản nhỏ hơn (80M → 8M tham số) để chạy hiệu quả trên máy đơn. Tự host, bảo mật, không phụ thuộc dịch vụ bên ngoài. Dự án mã nguồn mở, cảm ơn cộng đồng đã ủng hộ hơn 1000 sao trên GitHub! #AudioMuseAI #Selfhosted #MachineLearning #MusicTech #OpenSource #AI #HọcMáy #ÂmNhạc #CôngNghệ #MãNguồnMở

htt

G'morning 💕 , guys plz wish me luck 🥹
Today I have an interview for a scholarship to a data science training program with Heal Palestine, and I'm currently training for it. If anyone has any advice or tips, please share them with me.
@aral @fabio my legend in tech , do you have any advice or info I should know before the interview?
#datascience #lm #machinelearning #technology

Bạn có thể chia mô hình AI lớn thành từng phần và chạy inference trên nhiều máy (MacBook, GPU, CPU) chỉ dùng Wi‑Fi. Hệ thống pipeline hỗ trợ silicon, NVIDIA, CPU... Đã thử với TinyLlama, chạy mượt mà; mã nguồn có sẵn trên GitHub. Ý tưởng mở rộng tới tủ lạnh thông minh, TV… #AI #MachineLearning #Mô_hình_lớn #WiFi #MacBook #OpenSource #AI_Việt

https://www.reddit.com/r/LocalLLaMA/comments/1qha0kd/run_large_models_across_multiple_machines_over/