Apa Itu Chat with RTX dari NVIDIA? Lengkap Syarat dan Cara Menggunakannya

Suara.com - Apa itu chat with RTX dari NVIDIA? berikut adalah penjelasan lengkap yang telah Suara.com rangkum untuk Anda.

Tak dapat dipungkiri bahwa teknologi bernama chatbots saat ini digunakan oleh jutaan orang di seluruh dunia setiap hari. Teknologi yang satu ini didukung oleh server cloud.

Namun ada kabar baik buat pengguna Windows, sebab saat ini ada chatbots yang didukung oleh NVIDIA RTX untuk AI generatif lokal, cepat, dan terkustomisasi, Chatbots tersebut diberi nama Chat with RTX dari NVIDIA.

Apa itu Chat with RTX dari NVIDIA?

Sesuai dengan namanya, Chat with RTX merupakan obrolan dengan RTX yang didukung oleh NVIDIA. Ini adalah demo teknologi yang memungkinkan pengguna mempersonalisasi chatbot dengan konten mereka sendiri.

Proses chat sangat realistis sebab hasilnya akan dipercepat oleh GPU lokal NVIDIA GeForce RTX 30 Series atau lebih tinggi dengan memori akses acak video atau VRAM minimal 8 GB.

Obrolan dengan RTX ini menggunakan retrieval-augmented generation (RAG), perangkat lunak NVIDIA TensorRT-LLM, dan akselerasi NVIDIA RTX untuk menghadirkan kemampuan AI generatif ke PC Windows lokal yang didukung GeForce.

Pengguna dapat dengan cepat dan mudah menghubungkan file lokal di PC sebagai kumpulan data ke model bahasa sumber terbuka yang besar seperti Mistral atau Llama 2.

Nantinya, hal ini akan memungkinkan kueri untuk mendapatkan jawaban yang cepat dan relevan secara kontekstual. Daripada mencari melalui catatan atau konten yang disimpan, pengguna cukup mengetikkan pertanyaan. 

Misalnya, seseorang mungkin bertanya, “Restoran apa yang direkomendasikan pasangan saya saat berada di Las Vegas?” dan Obrolan dengan RTX akan memindai file lokal yang ditunjuk pengguna dan memberikan jawaban sesuai konteks.

Tenang saja, alat ini mendukung berbagai format file, termasuk .txt, .pdf, .doc/.docx, dan .xml sehingga Anda bisa menggunakan berbagai format file yang Anda sukai.

Nantinya, semua Arahkan aplikasi ke folder yang berisi file-file ini, dan alat tersebut akan memuatnya ke perpustakaannya hanya dalam hitungan detik.

Pengguna juga dapat memasukkan informasi dari video dan playlist YouTube. Menambahkan URL video ke Obrolan dengan RTX memungkinkan pengguna mengintegrasikan pengetahuan ini ke dalam chatbot mereka untuk pertanyaan kontekstual. 

Misalnya, mintalah rekomendasi perjalanan berdasarkan konten dari video influencer favorit, atau dapatkan tutorial singkat dan cara berdasarkan sumber daya pendidikan terbaik.

Cara mengunduh Obrolan dengan RTX

Langkah pertama adalah mengunduh dan mengkonfigurasi Obrolan dengan RTX, yang sebenarnya sedikit lebih rumit dari yang Anda duga. 

Yang perlu Anda lakukan hanyalah menjalankan penginstal, tetapi penginstal tersebut rentan gagal, dan Anda harus memenuhi beberapa persyaratan sistem minimum.

Syarat dan cara mengunduh chat with RTX

Anda memerlukan GPU seri RTX 40 atau 30 dengan VRAM minimal 8 GB, RAM sistem 16 GB, ruang disk 100 GB, dan Windows 11.

• Langkah 1: Unduh penginstal Obrolan dengan RTX dari situs web Nvidia. Folder terkompresi ini akan berukuran 35GB, jadi mungkin perlu beberapa saat untuk mengunduh.
• Langkah 2: Setelah selesai diunduh, klik kanan folder tersebut dan pilih Ekstrak semua.
• Langkah 3: Di dalam folder, Anda akan menemukan beberapa file dan folder. Pilih setup.exe dan telusuri penginstal.
• Langkah 4: Sebelum penginstalan dimulai, penginstal akan menanyakan di mana Anda ingin menyimpan Obrolan dengan RTX. Pastikan Anda memiliki setidaknya 100 GB ruang disk di lokasi yang Anda pilih, karena Chat dengan RTX sebenarnya mengunduh model AI.
• Langkah 5: Penginstal memerlukan waktu hingga 45 menit untuk menyelesaikannya, jadi jangan khawatir jika Anda melihatnya berhenti sebentar. Ini juga dapat memperlambat PC Anda, terutama saat mengonfigurasi model AI, jadi kami sarankan untuk menjauh sejenak saat penginstalan selesai.
• Langkah 6: Instalasi mungkin gagal. Jika ya, jalankan kembali penginstal, pilih lokasi yang sama untuk data seperti sebelumnya. Penginstal akan melanjutkan dari bagian terakhirnya.
• Langkah 7: Setelah penginstalan selesai, Anda akan mendapatkan pintasan ke Chat with RTX di desktop Anda dan aplikasi akan terbuka di jendela browser.

Cara menggunakan Obrolan dengan RTX dengan data Anda

Hal yang menarik dari Ngobrol dengan RTX adalah Anda dapat menggunakan data Anda sendiri. Ini menggunakan sesuatu yang disebut retrieval-augmented generation, atau RAG, untuk membolak-balik dokumen dan memberi Anda jawaban berdasarkan dokumen tersebut.

 Alih-alih menjawab pertanyaan apa pun, Obrolan dengan RTX lebih baik dalam menjawab pertanyaan spesifik tentang kumpulan data tertentu.

Nvidia menyertakan beberapa contoh data sehingga Anda dapat mencoba alat ini, namun Anda perlu menambahkan data Anda sendiri untuk membuka potensi penuh dari Obrolan dengan RTX.

• Langkah 1: Buat folder tempat Anda akan menyimpan kumpulan data Anda. Catat lokasinya, karena Anda harus mengarahkan Chat dengan RTX ke folder itu. Saat ini, Chat dengan RTX mendukung file .txt, .pdf, dan .doc.
• Langkah 2: Buka Obrolan dengan RTX dan pilih ikon pena di bagian Kumpulan Data.
• Langkah 3: Navigasikan ke folder tempat Anda menyimpan data dan pilih.
• Langkah 4: Di Obrolan dengan RTX, pilih ikon segarkan di bagian Kumpulan Data. Ini akan membuat ulang model berdasarkan data baru. Anda sebaiknya menyegarkan model setiap kali Anda menambahkan data baru ke folder atau memilih kumpulan data yang berbeda.
• Langkah 5: Setelah data Anda ditambahkan, pilih model yang ingin Anda gunakan di bagian model AI. Obrolan dengan RTX mencakup Llama 2 dan Mistral, dengan Mistral sebagai defaultnya. Bereksperimen-lah dengan keduanya, tetapi untuk pengguna baru, Mistral adalah yang terbaik.
• Langkah 6: Dari sana, Anda bisa mulai mengajukan pertanyaan. Nvidia mencatat bahwa Ngobrol dengan RTX tidak mempertimbangkan konteks, jadi respons sebelumnya tidak memengaruhi respons di masa mendatang. Selain itu, pertanyaan spesifik umumnya akan memberikan hasil yang lebih baik dibandingkan pertanyaan umum. Terakhir, Nvidia mencatat bahwa Obrolan dengan RTX terkadang merujuk pada data yang salah saat memberikan respons, jadi ingatlah hal itu.
• Langkah 7: Jika Obrolan dengan RTX berhenti berfungsi, dan memulai ulang tidak menyelesaikan masalah, Nvidia mengatakan Anda dapat menghapus file preferensi.json untuk menyelesaikan masalah. Ini terletak di C:\Users\\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\config\preferences.json.

Itulah pengertian tentang apa itu Chat with RTX dari NVIDIA lengkap dengan cara install dan cara menggunakannya. Semoga bermanfaat!

Kontributor : Damai Lestari