CEO Qualcomm Cristiano Amon memperkirakan smartphone pada 2028 akan mampu menjalankan large language model (LLM) dengan 100 miliar parameter secara berkelanjutan. Dalam wawancara dengan Fireside Alpha, Amon juga mengungkapkan bahwa sejumlah perusahaan AI sedang mengembangkan smartphone dengan kemampuan tersebut. Namun, ia tidak menyebutkan nama perusahaan maupun mengungkap peta jalan teknis untuk mewujudkannya. Tantangan terbesarnya adalah kapasitas memori. Di tengah kenaikan harga dan keterbatasan pasokan DRAM, sejumlah produsen smartphone justru menahan pengembangan model dengan RAM lebih besar. Padahal, menjalankan LLM 100 miliar parameter membutuhkan kapasitas memori jauh melampaui konfigurasi smartphone saat ini. Sebagai gambaran, model 100B dengan kuantisasi 4-bit membutuhkan sekitar 50GB memori hanya untuk bobot model, belum termasuk sistem operasi, aplikasi, dan KV cache untuk konteks percakapan. Bahkan, kuantisasi 2-bit masih memerlukan sekitar 25GB untuk bobot model saja. Keb...
