Ada kabar menarik nih guys. Nvidia, produsen chip grafis terkemuka dunia baru saja merilis aplikasi chatbot berbasis kecerdasan buatan alias rtificial intelligence (AI) untuk komputer (PC) yang diberi nama "Chat with RTX".
Yang menarik, berbeda dengan ChatGPT, aplikasi ini sejatinya merupakan asisten pribadi digital yang bekerja secara lokal di komputer/PC, bukan di-cloud.
Chat with RTX sendiri menawarkan berbagai layanan, antara lain pengguna bisa mengunggah dokumen di PC dengan format file .txt, .pdf, .doc/.docx, dan .xml, kemudian meminta Chat with RTX untuk merangkumnya.
Sebagai contoh, pengguna dapat meng-upload file meeting kemudian menanyakan pertanyaan spesifik, seperti: "Apa nama tempat yang direkomendasikan rekan kerja saya?". Nantinya, chatbot akan mencari jawaban pertanyaan itu langsung dari dokumen yang diberikan, sehingga pengguna tidak usah mencari jawaban tersebut secara manual.
Selain merangkum file, Chat with RTX juga bisa merangkum video YouTube yang diberikan dalam bentuk tautan (link). Misalnya, pengguna bisa menanyakan "Apa saja GPU yang diumumkan Nvidia di Consumer Electronics Show (CES) 2024?", sehingga tidak usah menonton video pengumuman resminya yang berdurasi hingga 30 menit.
Chat with RTX juga bisa menganalisis dokumen pengguna dan merangkum video YouTube. Pengguna dapat juga meminta rekomendasi tempat wisata "hidden gem" yang wajib dikunjungi dari berbagai kreator konten di YouTube, atau meminta tutorial cara membuat kue.
Dengan begitu, pengguna mendapatkan informasi yang dibutuhkan secara lebih efisien. Melihat kegunaannya, bisa dibilang bahwa Chat with RTX memiliki kemiripan dengan chatbot Gemini milik Google atau ChatGPT bikinan OpenAI.
Harus Menggunakan Nvidia RTX 3000 atau 4000 series
Adapun Chat with RTX menggunakan retrieval augmented generation (RAG) dan software Nvidia TensorRT-LLM, yang didukung oleh unit pengolah grafis (GPU) Nvidia RTX 3000 atau 4000 series dan diakselerasi oleh inti Tensor built-in.
Chat with RTX mengandalkan GPU dengan VRAM 8GB, RAM 16GB, sistem operasi (OS) Windows 10 atau 11, serta driver GPU Nvidia teranyar (versi 535.11 atau lebih baru). Pengguna juga memerlukan media penyimpanan seluas 35GB.
File lokal di komputer pengguna nantinya dihubungkan (upload) ke model bahasa besar (large language model/LLM) open-source seperti Mistral atau Llama 2, yang disebut bisa memberikan jawaban yang cepat dan relevan secara kontekstual.
Baca juga:
- Apa Itu Nvidia Canvas? Ini Fitur Kelebihan Nvidia Canvas
- Cara Membuat Desain Gambar dengan Nvidia Canvas
- Nvidia Ciptakan Teknologi untuk Video Call Hemat Bandwidth
Nah, tugas retrieval augmented generation adalah meningkatkan akurasi dan reliabilitas model AI generatif, sedangkan Nvidia TensorRT-LLM mengoptimalkan kinerja inferensi model bahasa besar terbaru dalam platform Nvidia AI.
Chat with RTX dijalankan langsung di PC dan workstation Nvidia RTX, sehingga data pengguna hanya akan disimpan di perangkat saja. Chat with RTX tidak mengandalkan LLM berbasis cloud, sehingga pengguna bisa memproses data sensitif di PC tanpa harus membagikannya ke pihak ketiga.
Pengguna juga tidak perlu koneksi internet saat menggunakan Chat with RTX. Bisa diunduh gratis Tampilan Chat with RTX Lihat Foto Tampilan Chat with RTX(Nvidia) Pengguna yang sudah memenuhi minimum spesifikasi Chat with RTX bisa mengunduhnya secara gratis.
Sebagai informasi, aplikasi ini masih bersifat demo, sehingga masih terasa kurang apabila dibandingkan chatbot kenamaan lainnya. Proses instalasinya membutuhkan kesabaran, dan aplikasinya disebut boros daya. Selain itu, Chat with RTX tidak mengingat konteks pembicaraan, sehingga pengguna tidak bisa menanyakan pertanyaan lanjutan dari pertanyaan yang sudah diajukan.