OpenAI, induk perusahaan dari chatbot ChatGPT, telah meluncurkan versi terbaru dari model bahasa besarnya (Large Language Model/LLM), yang dikenal sebagai GPT-4o Long Output. Pengumuman ini disampaikan melalui situs resmi OpenAI pada hari Senin, 29 Juli 2024.
GPT-4o Long Output merupakan pengembangan dari LLM GPT-4o yang sebelumnya dirilis pada Mei 2024. Dalam versi terbarunya ini, OpenAI telah meningkatkan kapasitas output token yang dapat dihasilkan oleh GPT-4o Long Output hingga 64.000 token.
Token adalah unit pengukuran yang digunakan untuk menghitung jumlah karakter atau kata yang diproses atau dihasilkan oleh sebuah model AI, di mana satu token dapat mewakili satu karakter atau satu kata dalam sebuah kalimat, tergantung pada perhitungan sistem yang kompleks.
Kapasitas dukungan token dari GPT-4o Long Output ini meningkat hingga 16 kali lipat dibandingkan dengan GPT-4o yang hanya mendukung output sebanyak 4.000 token. Hal ini berarti bahwa GPT-4o Long Output mampu memberikan respons yang lebih panjang dibandingkan dengan GPT-4o.
Dengan dukungan token yang lebih banyak, pengguna maupun pengembang yang memanfaatkan model LLM ini dapat memperoleh respons yang lebih detail dan komprehensif, seperti untuk keperluan mengedit kode program dan lainnya.
Meskipun OpenAI tidak menjelaskan secara rinci alasan diperkenalkannya GPT-4o Long Output di situs resminya, seorang juru bicara OpenAI menyatakan bahwa versi baru ini dihadirkan sebagai respons terhadap masukan dari para pelanggan. "Mereka menginginkan output yang memiliki konteks yang lebih panjang. Kami selalu berusaha menemukan cara baru untuk lebih baik memenuhi kebutuhan pelanggan," ujar juru bicara OpenAI, yang dikutip oleh Venturebeat.
Meskipun terdapat peningkatan dalam jumlah token output, jendela konteks (context window) yang dapat diproses oleh GPT-4o Long Output tetap sama dengan GPT-4o, yaitu maksimal 128.000 token. Jendela konteks adalah jumlah token yang dapat diproses oleh model AI dalam satu interaksi, termasuk token input dan output.
Ini berarti pengguna dapat memberikan perintah teks dan menerima jawaban hingga 128.000 token jika digabungkan. Namun, respons yang diperoleh oleh pengguna GPT-4o Long Output dapat lebih panjang karena dukungan token outputnya mencapai 64.000, tidak terbatas pada 4.000 token.
Untuk saat ini, GPT-4o Long Output hanya tersedia dalam versi Alpha yang terbatas untuk sekelompok pengguna tertentu. Periode pengujian ini diharapkan berlangsung selama beberapa minggu, yang memungkinkan OpenAI untuk mengevaluasi seberapa efektif output tambahan dari GPT-4o Long Output bagi pengguna. Hasil evaluasi tersebut akan menjadi pertimbangan bagi OpenAI untuk memutuskan apakah akan memperluas ketersediaan GPT-4o Long Output kepada lebih banyak pengguna atau tidak.