PocketPal AI adalah sebuah aplikasi yang memungkinkan Anda menjalankan model bahasa besar (LLM) secara langsung di perangkat seluler Anda. Berbeda dengan layanan AI berbasis cloud, aplikasi ini dirancang untuk beroperasi sepenuhnya secara offline, memastikan tidak ada data percakapan Anda yang pernah meninggalkan perangkat. Anda dapat mengunduh dan menggunakan ratusan model open-source dari HuggingFace, memberikan kendali penuh atas AI yang Anda gunakan tanpa bergantung pada server eksternal atau koneksi internet.
Operasi AI Sepenuhnya Offline
Keunggulan utama PocketPal AI adalah kemampuannya untuk beroperasi tanpa memerlukan koneksi internet. Semua model bahasa besar yang Anda pilih akan diunduh dan dijalankan secara lokal di ponsel Anda. Ini berarti Anda dapat menggunakan AI di mana saja, termasuk saat mode pesawat, di area tanpa sinyal, atau bahkan di bawah tanah. Desain ini juga menjamin privasi total, karena tidak ada transmisi data atau telemetri yang terjadi, sehingga percakapan Anda tetap sepenuhnya di perangkat Anda.
Persyaratan Perangkat Keras
Untuk menjalankan model AI secara efektif, PocketPal AI membutuhkan perangkat keras yang cukup mumpuni. Anda memerlukan setidaknya 6GB RAM untuk model yang lebih kecil, dan 8GB RAM atau lebih untuk performa yang optimal. Aplikasi ini dirancang untuk berjalan baik di ponsel flagship dan ponsel kelas menengah terbaru dari dua hingga tiga tahun terakhir. Perangkat yang lebih lama atau dengan spesifikasi rendah kemungkinan tidak akan mampu menangani inferensi AI secara lokal. Aplikasi ini menyertakan fitur benchmark bawaan yang dapat Anda gunakan untuk menguji kemampuan perangkat Anda dengan model AI yang berbeda.
Model dan Kustomisasi AI
Aplikasi ini memungkinkan Anda untuk mengunduh dan menggunakan ratusan model open-source langsung dari HuggingFace. Anda memiliki kontrol penuh atas parameter model, seperti _temperature_ untuk mengontrol kreativitas respons, _context length_ untuk mengatur panjang percakapan yang diingat, dan _system prompts_ untuk memandu perilaku AI. Selain itu, Anda dapat mengintegrasikan ‘Pals’ dari Palshub.ai, yaitu persona AI yang memberikan kepribadian dan tujuan pada model yang Anda gunakan. Untuk performa yang lebih baik, PocketPal AI memanfaatkan akselerasi Metal di perangkat iOS dan NNAPI di Android.
Batasan dan Perbedaan dengan AI Cloud
Penting untuk dipahami bahwa PocketPal AI menjalankan model yang lebih kecil secara lokal di ponsel Anda, bukan model triliun-parameter yang berjalan di server cloud seperti ChatGPT. Ini adalah trade-off yang disengaja untuk memberikan privasi dan kontrol penuh. Anda tidak akan menemukan kebijakan konten atau batasan perilaku yang diberlakukan oleh pengembang. Ini adalah AI yang Anda miliki dan atur sendiri, bukan AI yang Anda sewa.
Pembaruan Terkini
Dalam pembaruan versi terbaru, PocketPal AI telah menambahkan dukungan untuk model LFM3 dan Bonsai 2. Aplikasi ini juga menghadirkan performa yang lebih cepat untuk model Q2_K dan Q3_K saat menggunakan GPU. Selain itu, ikon aplikasi telah diperbarui, dengan dukungan ikon bertema di Android 13+. Perbaikan juga dilakukan pada mode suara hands-free, di mana suara yang telah diunduh kini berfungsi offline tanpa masalah.
Tulis ulasan