Peneliti Apple Mengembangkan Cara Menjalankan Gelar LLM di iPhone – IT Pro – Berita

Model bahasa besar seperti GPT-4 biasanya memerlukan banyak daya komputasi dan memori, namun peneliti AI Apple mengatakan mereka telah menemukan cara efektif untuk mengimplementasikan LLM di iPhone dan perangkat Apple lainnya dengan memori internal yang relatif terbatas.

Para peneliti mengatakan di A Makalah penelitian Mereka menemukan solusinya Model linguistik besar Itu melebihi kapasitas memori yang tersedia pada perangkat seluler, seperti iPhone. Hal ini dimungkinkan dengan menyimpan parameter model pada memori flash dan mengirimkannya ke DRAM bila diperlukan.

Untuk memaksimalkan produktivitas, penulis merujuk pada penggunaan “daur ulang” dengan menggunakan kembali sebagian data yang diproses oleh model AI. Hal ini akan menghilangkan kebutuhan untuk mengambil memori secara terus-menerus, yang akan membuat prosesnya lebih lancar. Selain itu, peneliti mengatakan bahwa dengan mengumpulkan data yang lebih besar, data dapat dibaca lebih cepat. Hal ini juga akan menghasilkan pemrosesan dan respons yang lebih cepat melalui model AI.

Kedua metode tersebut memungkinkan untuk menjalankan model AI yang menggunakan hingga dua kali jumlah memori yang tersedia dan memiliki kecepatan inferensi hingga 5 dan 25 kali lebih cepat dibandingkan dengan memuat langsung ke CPU dan GPU.

Membuat LLM bekerja lebih efisien di iPhone dapat mencakup kemampuan perintah Siri tingkat lanjut, terjemahan bahasa waktu nyata, dan penerapan fitur AI dalam fotografi. Apple dilaporkan sedang mengerjakan model bahasa utamanya sendiri, yang oleh karyawan disebut sebagai “AppleGPT.” Perusahaan juga ingin menambahkan AI generatif ke Siri, Xcode, dan Keynote.