Terobosan Google Research pada Model Fondasi Deret Waktu
Google Research telah mengumumkan pengembangan signifikan dalam bidang kecerdasan buatan untuk prediksi data kronologis. Tim peneliti memperkenalkan pendekatan baru yang memungkinkan model fondasi deret waktu atau time-series foundation models untuk berfungsi sebagai pembelajar few-shot. Inovasi ini标志着 pergeseran penting dalam bagaimana sistem mesin mempelajari pola data historis untuk memproyeksikan tren masa depan tanpa memerlukan pelatihan ulang yang kompleks untuk setiap tugas spesifik.
Dalam publikasi terbaru yang dipresentasikan pada konferensi ICML 2025, para peneliti menjelaskan metode yang mengubah model TimesFM menjadi TimesFM-ICF atau In-Context Fine-Tuning. Pendekatan ini memanfaatkan pelatihan lanjutan atau continued pre-training untuk mengajarkan model agar dapat beradaptasi dengan contoh-contoh kontekstual saat waktu inferensi. Hal ini memberikan kemampuan baru yang kuat, di mana performa model menyamai hasil supervised fine-tuning tanpa menuntut pengguna untuk menjalankan proses pelatihan tambahan yang rumit.
Tantangan dalam Prediksi Deret Waktu Tradisional
Prediksi deret waktu merupakan komponen esensial bagi operasional bisnis modern. Organisasi mengandalkan teknologi ini untuk memprediksi berbagai variabel kritis, mulai dari kebutuhan inventaris hingga permintaan energi. Secara tradisional, proses ini melibatkan pembangunan model khusus yang terpisah untuk setiap tugas. Metode konvensional tersebut cenderung lambat dan memerlukan keahlian teknis yang signifikan untuk mengelola setiap variasi data.
Munculnya pembelajaran zero-shot sebelumnya menawarkan solusi atas keterbatasan tersebut. Model TimesFM versi awal adalah model fondasi pra-latih yang mampu melakukan prediksi akurat tanpa pelatihan khusus untuk tugas tertentu. Namun, pertanyaan mendasar tetap ada mengenai apakah pemberian beberapa contoh data dapat meningkatkan akurasi prediksi secara lebih optimal. Sebagai ilustrasi, prediksi lalu lintas jalan raya akan menjadi lebih presisi jika model dapat mempertimbangkan data dari jalan raya terdekat atau data dari periode minggu sebelumnya.
Solusi standar industri untuk masalah ini adalah supervised fine-tuning, yang menggunakan data terkurasi untuk menyesuaikan model yang sudah ada. Sayangnya, metode ini reintroduksi kompleksitas yang justru ingin dihindari oleh pengguna yang menginginkan kemudahan pembelajaran zero-shot. Google Research berupaya menjembatani kesenjangan ini dengan kemampuan adaptasi kontekstual yang lebih cerdas.
Mekanisme Token Pemisah dalam Arsitektur Model
Untuk menciptakan TimesFM-ICF, tim peneliti memulai dengan model dasar TimesFM dan melanjutkan proses pra-pelatihan dengan konteks baru. Konteks ini mencakup riwayat prediksi ditambah semua contoh dalam konteks atau in-context examples. Langkah pertama yang krusial adalah memastikan model tidak bingung atau menggabungkan riwayat prediksi dengan contoh kontekstual. Jika berbagai rangkaian angka dari sumber berbeda digabungkan tanpa penanda yang jelas, model mungkin salah menginterpretasikannya sebagai satu aliran data yang kontinu.
Untuk mengatasi potensi kebingungan tersebut, peneliti menyisipkan token pemisah khusus yang dapat dipelajari atau common separator token setelah setiap set angka. Token ini berfungsi layaknya tanda berhenti digital atau simbol paragraf baru. Dengan adanya pemisah ini, segera setelah model memperhatikan token pemisah dari contoh yang telah dilihat sebelumnya, sistem tidak akan mencampuradukkannya dengan data yang sedang coba diprediksi. Secara teoritis, ini memungkinkan model mempelajari pola dari contoh masa lalu dan menerapkan pengetahuan tersebut pada prediksi saat ini.
Karena token pemisah dan perhatian terhadapnya merupakan hal baru bagi TimesFM, langkah kedua melibatkan lanjutan pra-pelatihan model dasar. Resep teknisnya cukup lugas, yaitu menciptakan dataset baru yang mencakup contoh dalam konteks dan token pemisah, kemudian menerapkan pelatihan prediksi token berikutnya standar khusus decoder. Input diteruskan ke lapisan MLP yang menghasilkan token, lalu diteruskan ke lapisan causal self attention yang memperhatikan informasi dari token sebelumnya dalam urutan tersebut.
Evaluasi Kinerja pada Dataset Belum Dikenal
Tim peneliti melakukan evaluasi terhadap TimesFM-ICF menggunakan 23 dataset yang belum pernah dilihat oleh model selama fase pelatihan apa pun. Setiap dataset dalam tolok ukur ini memiliki banyak deret waktu. Saat memprediksi sebuah deret waktu, sistem dimulai dengan riwayat immediatenya, kemudian mengambil sampel urutan dari riwayat penuh dan riwayat deret waktu lain dalam dataset yang sama sebagai contoh kontekstual. Metodologi ini memastikan contoh kontekstual relevan dan tidak terjadi kebocoran data.
Hasil pengujian menunjukkan peningkatan performa yang nyata dibandingkan model dasar. Beberapa temuan kunci dari evaluasi tersebut meliputi:
- TimesFM-ICF menunjukkan akurasi 6,8 persen lebih tinggi dibandingkan TimesFM dasar.
- Model baru ini mencapai performa yang setara dengan TimesFM-FT, yaitu versi yang telah melalui supervised fine-tuning untuk setiap dataset spesifik.
- Model демонстрирует konsistensi dimana penambahan contoh kontekstual meningkatkan akurasi prediksi, meskipun dengan biaya waktu inferensi yang lebih panjang.
- TimesFM-ICF menunjukkan pemanfaatan konteks yang lebih baik dibandingkan model konteks panjang murni yang tidak memiliki kemampuan bekerja dengan contoh dalam konteks.
Peningkatan akurasi ini dicapai tanpa kerumitan menjalankan supervised fine-tuning. Grafik perbandingan performa mengonfirmasi bahwa TimesFM-ICF meningkatkan kinerja model dasar di atas banyak model spesifik tugas dan mencapai tingkat performa yang sama dengan versi yang di-fine-tune secara khusus.
Implikasi bagi Deployment Bisnis dan Masa Depan
Pendekatan baru ini memiliki aplikasi dunia nyata yang signifikan karena memungkinkan bisnis untuk menyebarkan satu model prediksi yang kuat, robust, dan adaptif. Alih-alih meluncurkan proyek pembelajaran mesin penuh untuk tugas baru, seperti memprediksi permintaan produk baru, perusahaan dapat cukup memberi makan model dengan beberapa contoh relevan baru. Tindakan ini segera memberikan prediksi khusus berteknologi tinggi, yang secara dramatis memotong biaya operasional.
Efisiensi ini mempercepat pengambilan keputusan dan inovasi serta mendemokratisasi akses ke prediksi tingkat tinggi. Pengguna tidak lagi terhalang oleh kebutuhan akan sumber daya komputasi besar untuk pelatihan ulang setiap kali ada variabel baru. Model fondasi menjadi lebih cerdas dan adaptif, memberdayakan lebih banyak pengguna untuk membuat keputusan yang didorong oleh data dengan lebih baik.
Peneliti menyatakan antusiasme terhadap masa depan riset ini, khususnya dalam mengembangkan strategi otomatis untuk memilih contoh dalam konteks yang paling relevan. Dengan terus menyempurnakan kemampuan adaptasi model fondasi, teknologi prediksi deret waktu diharapkan menjadi lebih aksesibel tanpa mengorbankan presisi analitis. Kolaborasi ini melibatkan peneliti mahasiswa Matthew Faw serta rekan-rekan di Google Research, menandai langkah maju dalam ekosistem kecerdasan buatan generatif dan intelijensi mesin.
