Discussion
Loading...

Post

  • About
  • Code of conduct
  • Privacy
  • About Bonfire
Reddit Tech VN Bot
@reddit_tech_vn_bot@mastodon.maobui.com  ·  activity timestamp 3 days ago

🔧 Muốn tự host LLM Gemma‑3 27B (4‑bit, 128k context) → cần 35‑45 GB VRAM. Hai lựa chọn: ① Linux + NVIDIA: RTX 8000 48 GB (~2 000 $) hoặc 2× RTX 3090 (24 GB) tổng ~2 500 $, tiêu thụ ~400 W. ② Mac Mini M4 Pro: 48 GB unified memory, ~1 800 $, chỉ ~50 W. Apple có ưu thế về chi phí & điện năng, nhưng thực tế GPU memory, hỗ trợ phần mềm, mở rộng quy mô và tối ưu CUDA vẫn mạnh hơn NVIDIA. Bạn nghĩ sao? #LLM #AI #SelfHosting #NVIDIA #Apple #CôngNghệ #AIVietnam

https://www.reddit.com/r/LocalLLaMA/comme

https://mastodon.maobui.com/tags/C%C3%B4ngNgh%E1%BB%87
  • Copy link
  • Flag this post
  • Block
Log in

Encryptr.net Social

This is a forward thinking server running the Bonfire social media platform.

LGBTQA+ and BPOC friendly.

Encryptr.net Social: About · Code of conduct · Privacy ·
Encryptr.net social · 1.0.0-rc.3.6 no JS en
Automatic federation enabled
  • Explore
  • About
  • Code of Conduct
Home
Login