CEO Qualcomm Cristiano Amon memperkirakan smartphone pada 2028 akan mampu menjalankan large language model (LLM) dengan 100 miliar parameter secara berkelanjutan. Dalam wawancara dengan Fireside Alpha, Amon juga mengungkapkan bahwa sejumlah perusahaan AI sedang mengembangkan smartphone dengan kemampuan tersebut. Namun, ia tidak menyebutkan nama perusahaan maupun mengungkap peta jalan teknis untuk mewujudkannya.
Tantangan terbesarnya adalah kapasitas memori. Di tengah kenaikan harga dan keterbatasan pasokan DRAM, sejumlah produsen smartphone justru menahan pengembangan model dengan RAM lebih besar. Padahal, menjalankan LLM 100 miliar parameter membutuhkan kapasitas memori jauh melampaui konfigurasi smartphone saat ini.
Sebagai gambaran, model 100B dengan kuantisasi 4-bit membutuhkan sekitar 50GB memori hanya untuk bobot model, belum termasuk sistem operasi, aplikasi, dan KV cache untuk konteks percakapan. Bahkan, kuantisasi 2-bit masih memerlukan sekitar 25GB untuk bobot model saja. Kebutuhan tersebut membuat klaim Qualcomm sulit diwujudkan melalui pendekatan konvensional, terlebih karena inferensi berkelanjutan juga menghasilkan panas yang dapat memicu thermal throttling.
Pengemasan chip dan memori yang lebih efisien, seperti pendekatan yang dikaitkan dengan Apple A20 Pro dan Snapdragon generasi mendatang, berpotensi membantu mengatasi sebagian kendala. Namun, optimasi tersebut tidak otomatis menghilangkan keterbatasan kapasitas DRAM. Kuantisasi ekstrem hingga 1-bit dapat mengurangi kebutuhan memori lebih jauh, tetapi berisiko menurunkan kualitas jawaban, terutama untuk tugas penalaran.
Alternatif lain adalah arsitektur Mixture of Experts (MoE) dengan expert offloading. Dalam pendekatan ini, hanya sebagian ahli model yang aktif untuk setiap token, sementara komponen lain dapat disimpan di media penyimpanan. Strategi tersebut mengurangi kebutuhan memori aktif, tetapi berpotensi memperlambat inferensi karena penyimpanan flash tidak secepat DRAM.
Dibandingkan memaksakan model 100B ke smartphone, model hasil distilasi berukuran 20B–30B dapat menjadi pilihan yang lebih realistis. Model yang lebih kecil berpotensi memberikan kemampuan mendekati model besar dengan kebutuhan memori dan daya komputasi yang lebih rendah, meskipun hasilnya bergantung pada metode pelatihan dan jenis tugas.
Prediksi Amon menunjukkan ambisi industri untuk membawa AI yang lebih canggih langsung ke perangkat. Namun, tanpa rincian arsitektur, kebutuhan memori, konsumsi daya, dan target performa, kemampuan menjalankan LLM 100B secara berkelanjutan pada smartphone pada 2028 masih sebatas proyeksi, bukan kepastian teknis.