3 hours ago
2
Ilustrasi(Magnific)
SELAMA lebih dari 100.000 tahun, manusia menjadi satu-satunya entitas yang mampu menguasai bahasa secara alami. Kini, kemunculan model bahasa besar (LLM) seperti ChatGPT menghadirkan entitas lain yang mampu menggunakan bahasa, tetapi dengan kebutuhan data yang jauh lebih besar.
Kesenjangan ini dikenal sebagai data efficiency gap, yakni perbedaan jumlah data yang dibutuhkan manusia dan AI untuk mempelajari bahasa. Seorang anak diperkirakan hanya mendengar sekitar 100 juta kata hingga usia remaja. Sementara itu, model seperti Meta Llama 3.1 dilatih menggunakan sekitar 15 triliun token.
Ilmuwan kognitif Stanford University, Michael C. Frank, menilai kemampuan LLM memang luar biasa, tetapi membutuhkan sumber daya yang sangat besar. Anak-anak bahkan mulai menghasilkan kalimat yang sesuai tata bahasa setelah mendengar sekitar 10 juta hingga 30 juta kata, sedangkan GPT-2 yang dilatih dengan jumlah kata serupa belum mampu menghasilkan bahasa yang bermakna.
Perbedaan tersebut mendorong peneliti mencari tahu apa yang membuat otak manusia begitu efisien. Salah satu perdebatan lama datang dari ahli linguistik Noam Chomsky yang berpendapat bahwa manusia memiliki kemampuan tata bahasa bawaan. Namun, kemampuan LLM dalam mempelajari pola sintaksis dari data dalam jumlah besar menunjukkan bahwa sebagian aspek bahasa ternyata dapat dipelajari melalui statistik.
Psikolog perkembangan Alison Gopnik mengaku terkejut model AI dapat mempelajari sintaksis hanya dari pola bahasa. Menurutnya, temuan tersebut sebelumnya tidak banyak diperkirakan oleh para peneliti.
Meniru Cara Anak Belajar
Upaya memahami efisiensi belajar manusia salah satunya dilakukan melalui proyek BabyLM yang diprakarsai ahli linguistik Alex Warstadt pada 2022. Kompetisi tersebut menantang peneliti membuat model bahasa dengan jumlah data yang lebih terbatas dan lebih mendekati pengalaman anak.
Untuk trek balita, model dibatasi sekitar 100 juta kata, sedangkan trek anak-anak menggunakan sekitar 10 juta kata. Data berasal dari buku cerita, dialog, subtitle film, serta transkrip percakapan yang ditujukan kepada anak-anak.
Hasilnya menunjukkan bahwa model dengan data jauh lebih sedikit dapat mencapai performa yang cukup kompetitif pada sejumlah tolok ukur. Pemenang BabyLM 2024, GPT-BERT, misalnya, dilatih dengan sekitar 100 juta kata dan mampu mengungguli Llama 2 70B pada salah satu benchmark, meski masih jauh dari kemampuan LLM komersial.
Peneliti juga mencoba meniru pengalaman anak secara lebih langsung. Proyek SAYCam merekam aktivitas tiga bayi melalui kamera yang dikenakan di kepala selama masa perkembangan mereka. Data tersebut kemudian digunakan untuk melatih model yang menghubungkan objek dengan kata tanpa memberikan pengetahuan bawaan tertentu.
Penelitian lain yang dipimpin Uri Hasson dari Princeton University merekam 1.000 hari pertama kehidupan 17 anak. Kamera dan mikrofon dipasang di rumah keluarga untuk merekam aktivitas hingga 12 jam sehari. Data dalam skala besar itu digunakan untuk mempelajari bagaimana anak memperoleh bahasa dan memahami lingkungan.
Belajar dengan Berinteraksi
Para peneliti menduga perbedaan utama antara anak dan AI bukan hanya jumlah data, tetapi cara data tersebut diperoleh. Anak-anak tidak sekadar menerima informasi secara pasif. Mereka aktif mengeksplorasi lingkungan, memilih hal yang ingin diperhatikan, serta berinteraksi dengan orang lain.
Elizabeth Bonawitz dari Harvard University menilai anak juga mempertimbangkan siapa yang memberikan informasi, apa yang diketahui orang tersebut, dan alasan informasi itu disampaikan. Aspek sosial semacam ini belum sepenuhnya dimiliki model AI saat ini.
Upaya meningkatkan efisiensi AI menjadi semakin penting, terutama untuk bahasa yang memiliki sumber data terbatas. David Samuel, salah satu pengembang GPT-BERT, menyoroti bahasa minoritas yang mungkin hanya memiliki puluhan juta token, jumlah yang sebanding dengan paparan bahasa seorang anak.
Warstadt berharap penelitian semacam ini dapat membantu membuat pengembangan AI lebih demokratis sehingga tidak hanya perusahaan atau lembaga dengan sumber daya komputasi besar yang mampu melatih model bahasa.
Di sisi lain, penelitian tentang cara anak belajar bahasa juga memberi kesempatan untuk memahami kemampuan kognitif manusia. Para peneliti kini menggunakan model bahasa sebagai semacam “organisme model” untuk menguji bagaimana bahasa dapat dipelajari.
Selama ini, manusia merupakan satu-satunya contoh nyata yang dapat digunakan untuk mempelajari proses tersebut. Kehadiran AI memberikan kesempatan baru bagi peneliti untuk membandingkan cara mesin dan manusia memperoleh kemampuan berbahasa. (Crux Digits/Z-2)
