Apple Klaim Perangkatnya Kini Mampu Jalankan Model AI Raksasa Secara Lokal

Apple mengungkap bahwa memori yang lebih cepat serta dua unit Neural Engine pada perangkat terbarunya secara signifikan meningkatkan kemampuan menjalankan model AI berukuran besar secara lokal, tanpa bergantung pada layanan cloud.

Dalam sebuah slide presentasi bertema "Enabling a Full Range of Local AI Inference," Apple memetakan kemampuan lini produknya, mulai dari iPhone dan iPad hingga Mac Studio, berdasarkan kapasitas memori, bandwidth, dan jumlah parameter aktif model AI yang bisa dijalankan.

iPhone dan iPad dengan 16GB unified memory disebut mampu menjalankan model dengan 14 miliar parameter aktif, meski bandwidth memori yang diklaim Apple, 76GB/s, sudah dilampaui chip A20 Pro yang mencapai 115,2GB/s.

MacBook Air dan Mac mini, dengan memori hingga 64GB dan bandwidth hingga 307GB/s, sanggup menjalankan model hingga 70 miliar parameter. MacBook Pro kelas atas berbekal 128GB unified memory dapat menangani model 120 miliar parameter, setara laptop RTX Spark dengan kapasitas RAM serupa.

Puncaknya ada pada Mac Studio. Dengan bandwidth memori hingga 1,2TB/s, chip M5 Ultra mendukung hingga 512GB unified memory sehingga mampu menjalankan model hingga 480 miliar parameter. Sebuah konfigurasi cluster empat unit Mac Studio, dengan total memori 2TB, bahkan diklaim mampu menjalankan model raksasa 1,6 triliun parameter.

Namun, mendapatkan Mac Studio bukan perkara mudah saat ini. Situs resmi Apple hanya menjual varian 256GB, dengan estimasi pengiriman 15-17 minggu tergantung lokasi. Harganya pun fantastis. Satu unit M5 Ultra dengan CPU 36-core, GPU 80-core, Neural Engine 32-core, dan SSD 1TB dibanderol 10.700 dolar AS. Konfigurasi empat cluster menembus 43.196 dolar AS, namun kapasitas memorinya masih di bawah 1TB. Untuk menjalankan model 1 triliun parameter, dibutuhkan delapan cluster senilai 86.392 dolar AS.

Meski demikian, Apple belum memberikan contoh konkret model AI mana yang cocok dijalankan pada tiap perangkat, atau versi kuantisasi seperti apa yang bisa didukung, sehingga panduan bagi pengguna yang ingin mencoba inferensi AI lokal masih terasa belum lengkap.

Postingan Populer

Download Windows 10 ISO versi Lite Alias Ringan

Anda kesal karena laptop atau PC desktop Anda lemot padahal punya spek yang tidak jelek? Jangan dulu membuang laptop atau upgrade komponen PC desktop tersebut. Siapa tau yang membuatnya berat adalah sistem operasi Windows 10-nya yang kegemukan. Selain format dan install ulang, ada cara lain yang lebih efektif dalam membuat komputer kita bekerja seperti layaknya baru beli. Caranya adalah download Windows 10 ISO versi ringan. Lho, apa bedanya? Kalau kita memilih untuk download Windows 10 ISO versi ringan dan instalasikan di PC kita, maka fitur-fitur, fungsi atau aplikasi yang jarang digunakan, sudah ditiadakan. Selain lebih hemat ruang di harddisk, dibuangnya fitur-fitur yang tidak berguna tersebut akan membuat PC atau laptop spek rendah pun bisa menjalankan Windows 10 dengan lancar. Download Windows 10 Terbaru October 2020 Update Lalu, apa saja yang ada di Windows 10 versi Lite alias versi Ringan tersebut? Nah ini dia: Windows 10 SuperLite Compact (Gaming Edition) x64 – ...

Micron Stop GDDR7 2GB, Fokus Produksi Chip GDDR7 3GB

Micron dikabarkan mulai menghentikan produksi chip GDDR7 2GB (16Gb) dan mengalihkan kapasitas produksinya ke chip GDDR7 3GB (24Gb). Menurut laporan industri yang dikutip HWBuster, perubahan ini terjadi ketika permintaan memori untuk infrastruktur AI terus melonjak. Bagi pasar GPU, keputusan tersebut menunjukkan bahwa persaingan mendapatkan kapasitas produksi memori semakin ketat, dengan kebutuhan AI menawarkan nilai ekonomi yang lebih menarik bagi produsen. Peralihan dari GDDR7 2GB ke 3GB sebenarnya membawa keuntungan bagi produsen kartu grafis. Dengan jumlah chip yang sama, kapasitas VRAM dapat dibuat lebih besar. Delapan chip GDDR7 2GB, misalnya, menghasilkan konfigurasi 16GB, sedangkan delapan chip 3GB secara teoritis dapat menyediakan 24GB. Namun, jangan buru-buru menganggap kartu grafis 24GB akan segera membanjiri pasar. Kapasitas VRAM tetap ditentukan oleh memory bus, desain PCB, memory controller, konfigurasi paket, segmentasi produk, dan tentu saja strategi harga. Masalah yang ...

Review Asus ExpertBook B3 B3404CVA. Laptop Kerja Fleksibel untuk Pendukung Bisnis

Industri laptop bisnis sedang mengalami pergeseran yang cukup signifikan. Jika dulu perusahaan hanya mencari perangkat yang “cukup bisa dipakai”, kini standar berubah menjadi efisiensi, keamanan, dan daya tahan jangka panjang. Tekanan untuk bekerja hybrid, meningkatnya ancaman siber, serta kebutuhan multitasking membuat laptop bisnis harus lebih dari sekadar alat kerja. Ia harus menjadi fondasi produktivitas. Di sisi lain, tidak semua perusahaan siap mengalokasikan budget untuk perangkat flagship. Di sinilah segmen laptop bisnis menengah menjadi menarik. Pasalnya, laptop bisnis kelas menengah menawarkan keseimbangan antara harga, fitur, dan performa. Namun, kompromi tentunya selalu ada dibanding seri flagship, dan di sinilah evaluasi kritis menjadi penting. Sebagai contoh, Asus mencoba mengisi celah segmen laptop bisnis menengah lewat Asus ExpertBook B3 B3404CVA . Laptop bisnis ini ditujukan untuk perusahaan yang membutuhkan perangkat kerja solid dengan fitur enterprise, tetapi tetap r...

Asus Googlebook 14 Hadir dengan Panther Lake, RAM 64GB, OLED 3K dan Bobot Kurang dari 1Kg

Asus memperluas jajaran Googlebook dengan menghadirkan Googlebook 14, laptop ultraportabel yang mengandalkan prosesor Intel Panther Lake atau Core Ultra Series 3. Perangkat ini menarik perhatian bukan hanya karena bobotnya yang berada di bawah 1kg, tetapi juga karena membawa konfigurasi mewah hingga RAM 64GB, SSD 1TB, layar OLED 3K 120Hz, serta baterai 70Wh. Dari sisi desain, Asus menggunakan sasis berbahan magnesium-aluminium hasil proses CNC dengan bobot sekitar 0,99 kg. Material tersebut dipadukan dengan warna Dusk Ash dan teknologi Nano Ceramic yang diklaim membantu melindungi permukaan dari goresan, noda, dan abrasi. Laptop serupa ExpertBook Ultra ini juga memenuhi standar ketahanan MIL-STD-810H, meski sertifikasi tersebut tidak otomatis berarti perangkat kebal terhadap seluruh jenis kerusakan dalam penggunaan sehari-hari. Di sektor performa, Googlebook 14 tersedia dengan prosesor hingga Intel Core Ultra 7 355 dari keluarga Panther Lake. Konfigurasi yang disebutkan juga mencakup C...

Mac Mini M6 Tunjukkan Lonjakan Performa AI Signifikan Dibanding M4

Apple M6 membawa peningkatan performa yang cukup besar pada Mac mini, khususnya untuk beban kerja artificial intelligence (AI). Berdasarkan serangkaian pengujian yang dilakukan YouTuber Alex Ziskind, Mac mini M6 menunjukkan keunggulan signifikan dibandingkan generasi M4 dalam pemrosesan model AI lokal. Dalam pengujian Qwen3.5-9B 4-bit, M6 mencatat kecepatan pemrosesan prompt mencapai 742 token per detik, sedangkan M4 hanya 210 token per detik. Artinya, M6 memiliki kecepatan sekitar 253,3 persen lebih tinggi. Untuk token generation, M6 menghasilkan 26,9 token per detik, dibandingkan 18 token per detik pada M4. Perbedaannya mencapai sekitar 49,4 persen. Keunggulan M6 juga terlihat pada pengujian llama-benchy. Waktu yang dibutuhkan untuk menghasilkan token pertama hanya 0,72 detik, sementara M4 membutuhkan 2,5 detik. Pada pengujian pembuatan gambar menggunakan FLUX.1, M6 menyelesaikan proses dalam 36 detik, sedangkan M4 membutuhkan 94 detik. Dengan demikian, M6 mampu memangkas waktu rende...

Cari Blog Ini