Spring AI dalam Aksi: Membangun Aplikasi AI Nyata dengan Spring Boot

Beranda » Ular sanca » Spring AI dalam Aksi: Membangun Aplikasi AI Nyata dengan Spring Boot

Spring AI in Action dengan cepat menjadi referensi utama bagi para pengembang Java dan Spring Boot yang ingin menghadirkan AI generatif modern ke dalam proyek sehari-hari mereka tanpa meninggalkan tumpukan JVM. Alih-alih memaksa Anda masuk ke ekosistem Python atau perangkat yang rumit, buku dan kerangka kerja ini bekerja sama sehingga Anda dapat terus membuat kode dalam Java atau Kotlin sambil tetap mengintegrasikan Model Bahasa Besar (LLM) yang canggih, Generasi yang Diperkuat Pengambilan (RAG), agen, alat, dan fitur multimodal.

Yang membuat ekosistem ini begitu menarik adalah kombinasi dari kerangka kerja yang siap produksi (Spring AI) dan panduan yang sangat pragmatis serta berbasis contoh (Spring AI in Action karya Craig Walls). Bersama-sama mereka menunjukkan cara menghubungkan model AI, basis data vektor, memori percakapan, dan alat evaluasi ke dalam aplikasi Spring Boot yang sudah dikenal menggunakan POJO sederhana, konfigurasi otomatis, dan API yang bersih dan portabel yang menyembunyikan banyak kompleksitas khusus penyedia.

Apa itu Spring AI dan mengapa penting bagi pengembang Java?

Spring AI adalah kerangka kerja aplikasi yang dirancang untuk membawa prinsip-prinsip klasik Spring—portabilitas, arsitektur modular, dan desain berbasis POJO—ke dunia rekayasa AI. Pada intinya, Spring AI berfokus pada penyelesaian masalah praktis tersulit dalam AI perusahaan: menghubungkan organisasi Anda data dan Lebah dengan modern Model AI dengan cara yang mudah dipelihara, diamati, dan mudah dikembangkan dari waktu ke waktu.

Alih-alih membatasi Anda pada satu vendor LLM saja, Spring AI melakukan abstraksi terhadap sebagian besar penyedia besar tersebut. Secara default, Anda dapat berkomunikasi dengan model dari OpenAI, Azure OpenAI, Anthropic, Amazon Bedrock, Google, MistralAI, dan bahkan model lokal yang disajikan melalui Ollama. Model pemrograman yang sama mendukung respons sinkron dan streaming, dan Anda tetap memiliki akses ke kemampuan khusus penyedia saat Anda benar-benar membutuhkannya.

Pilar penting lainnya dari Spring AI adalah dukungannya yang kuat terhadap output yang terstruktur. Alih-alih mengurai teks mentah secara manual, Anda dapat memetakan respons model langsung ke kelas dan catatan Java, mengubah bahasa alami yang berantakan menjadi POJO yang rapi. Ini sangat penting ketika Anda membangun agen, alat, atau alur kerja yang harus melakukan penalaran atas data yang dapat diprediksi, bukan teks yang tidak terstruktur.

Spring AI juga terintegrasi secara mendalam dengan basis data vektor sehingga Anda dapat mengimplementasikan Retrieval Augmented Generation tanpa harus menciptakan kembali hal yang sudah ada. Ini mendukung penyedia seperti Apache Cassandra, Azure Vector Search, Chroma, Milvus, MongoDB Atlas, Neo4j, Integrasi OraclePostgreSQL dengan PGVector, Pinecone, Qdrant, Redis, dan Weaviate. API Vector Store yang portabel dan bahasa filter metadata mirip SQL memungkinkan Anda mengubah backend vektor dengan perubahan kode minimal.

Selain itu, Spring AI dilengkapi dengan perangkat untuk pengamatan (observability), alur kerja penyerapan dokumen, evaluasi model, dan pola AI generatif. Anda menjadi fasih ChatClient mirip dengan WebClient/RestClientPenasihat untuk pola AI umum seperti RAG dan memori percakapan, konfigurasi otomatis dengan starter Spring Boot, dan utilitas untuk memantau penggunaan token dan mendeteksi halusinasi.

Di balik "Spring AI in Action": dari Hello AI World hingga agen lengkap.

“Spring AI in Action” karya Craig Walls adalah panduan praktis dan langsung yang menunjukkan kepada Anda cara menggunakan semua kemampuan Spring AI ini dalam aplikasi nyata. Buku ini ditujukan khusus untuk pengembang Spring dan mengasumsikan Anda sudah mengetahui Spring Boot, tetapi tidak memerlukan pengalaman AI generatif sebelumnya; Anda tidak harus menjadi ilmuwan data atau "pakar AI" untuk mengikutinya.

Perjalanan dalam buku ini dimulai dengan contoh sederhana "Hello AI World" dan secara bertahap memperkenalkan teknik yang lebih canggih seiring Anda semakin terbiasa. Anda mulai dengan menghubungkan panggilan LLM dasar di dalam aplikasi Spring Boot, kemudian beralih ke pembuatan ringkasan teks, membangun asisten yang berada di dalam layanan web atau backend yang sudah ada, dan membentuk perintah agar respons lebih bermanfaat dan mudah diprediksi.

Seiring berjalannya waktu, konten akan membahas lebih dalam tentang RAG, penyimpanan vektor, dan skenario multimodal di mana model bekerja dengan teks dan gambar. Anda akan mempelajari cara mengajukan pertanyaan tentang dokumen pribadi yang tidak pernah digunakan untuk melatih model, cara mengubah gambar menjadi teks dan sebaliknya, serta cara mendasarkan jawaban LLM pada data Anda sendiri sehingga model tersebut tidak lagi berhalusinasi saat menghadapi pertanyaan spesifik domain.

Paruh kedua buku ini meningkatkan standar dengan mengeksplorasi agen, penggunaan alat, ucapan, dan kemampuan observasi. Di sini Anda akan melihat cara membangun agen AI yang dapat memutuskan kapan harus memanggil alat atau API, cara mengarahkan tugas ke perintah khusus, cara melacak apa yang terjadi melalui metrik dan jejak, dan cara menjaga sistem Anda tetap aman dengan evaluasi dan pengamanan seputar konten yang dihasilkan.

Sepanjang buku ini, Craig Walls mempertahankan gaya khasnya yang berfokus pada contoh, selalu berpusat pada "menyelesaikan pekerjaan" alih-alih membanjiri Anda dengan teori. Bab-babnya penuh dengan kiat-kiat praktis dan skenario realistis: chatbot yang benar-benar memahami data Anda, asisten yang terintegrasi dalam alur kerja bisnis, dan agen yang memecah tugas-tugas kompleks menjadi bagian-bagian yang lebih kecil dan mudah dikelola.

Topik-topik utama dan struktur buku ini

Daftar isi dari “Spring AI in Action” memberikan gambaran yang jelas tentang cakupan yang akan Anda bangun. Mulai dari elemen dasar hingga pola tingkat lanjut, setiap bab berfokus pada area spesifik integrasi AI dengan Spring:

• Memulai menggunakan Spring AI: memulai proyek, mengkonfigurasi penyedia, mengirimkan perintah pertama Anda.
• Mengevaluasi respons yang dihasilkan: mengukur kualitas, mendeteksi masalah, dan melindungi dari konten berkualitas rendah atau yang menyesatkan.
• Mengirimkan perintah untuk pembuatan: mendesain perintah, menggunakan templat, dan mengontrol perilaku model.
• Berbicara dengan dokumen Anda: Menerapkan RAG agar LLM dapat menjawab pertanyaan tentang data pribadi yang belum dilatih.
• Mengaktifkan memori percakapan: Mempertahankan konteks obrolan multi-giliran menggunakan penasihat memori Spring AI.
• Mengaktifkan generasi berbasis alat.: Memungkinkan model untuk memanggil fungsi dan alat sisi klien ketika mereka membutuhkan data baru atau data eksternal.
• Menerapkan Protokol Konteks Model (MCP): mengelola konteks dan interaksi yang lebih kaya dengan alat dan sumber data.
• Membuat karya dengan suara dan gambar.: merangkul kemampuan multimodal untuk ucapan dan gambar.
• Mengamati operasi AIMenambahkan kemampuan pengamatan dan pemantauan ke dalam alur kerja AI Anda.
• Melindungi AI generatif: menerapkan pengaman, filter konten, dan mekanisme perlindungan lainnya.
• Menerapkan pola AI generatif: menangkap pola yang dapat digunakan kembali untuk alur kerja AI.
• Mempekerjakan agenMembangun sistem berbasis agen yang dapat merencanakan, menentukan rute, dan menyempurnakan pekerjaan.

Ulasan dari tokoh-tokoh terkemuka di komunitas Spring dan Java menyoroti betapa mudah diakses dan praktisnya materi ini. Para penulis dan pengulas kata pengantar memuji buku ini karena penjelasannya yang jelas, demonstrasi yang ekstensif, dan kedalaman "harta karun" tentang teknologi yang sedang berkembang, menggarisbawahi bahwa buku ini tetap berlandaskan pada perkembangan dunia nyata dan bukan abstraksi akademis.

Saat Anda membeli edisi cetak dari Manning, Anda juga mendapatkan eBook gratis (PDF atau ePub) plus akses ke versi liveBook online mereka. Platform liveBook sendiri menyertakan asisten AI yang mampu menjawab pertanyaan Anda dalam berbagai bahasa, sehingga Anda dapat menjelajahi contoh, mencari melalui teks, dan mengklarifikasi topik saat Anda membaca.

Fitur inti Spring AI untuk aplikasi AI tingkat perusahaan.

Di luar buku tersebut, kerangka kerja Spring AI menawarkan serangkaian fitur komprehensif yang dirancang khusus untuk aplikasi AI tingkat produksi. Ini bukan hanya tentang memanggil LLM; ini tentang membangun sistem lengkap yang aman, dapat diamati, dapat diuji, dan portabel di berbagai penyedia dan lingkungan.

Tingkat fleksibilitas yang sama juga berlaku untuk penyimpanan vektor. Dengan dukungan untuk Apache Cassandra, Azure Vector Search, Chroma, Milvus, MongoDB Atlas, Neo4j, Oracle, PostgreSQL/PGVector, Pinecone, Qdrant, Redis, Weaviate, dan lainnya, Anda dapat mengimplementasikan RAG dan pencarian semantik tanpa harus terpaku pada satu solusi penyimpanan tunggal. API yang portabel dan filter metadata yang ekspresif memudahkan menjalankan kueri kesamaan yang kompleks.

Alat dan pemanggilan fungsi adalah elemen utama dalam Spring AI. Model dapat meminta eksekusi alat dan fungsi sisi klien untuk mengambil data waktu nyata atau memicu tindakan. Ini mengubah LLM Anda dari generator teks pasif menjadi komponen aktif yang dapat melakukan kueri API, memanggil basis data, atau mengatur layanan melalui panggilan fungsi bertipe.

Kemampuan observasi sudah terintegrasi dalam kerangka kerja sehingga Anda dapat melihat apa yang dilakukan AI Anda di balik layar. Anda dapat mengumpulkan metrik tentang penggunaan token, latensi, dan tingkat kesalahan, melacak panggilan melalui sistem Anda, dan menghubungkan aktivitas LLM dengan layanan mikro lainnya. Hal ini sangat penting ketika AI beralih dari eksperimen ke beban kerja yang penting bagi bisnis.

Spring AI juga menyertakan kerangka kerja penyerapan dokumen bergaya ETL untuk tugas-tugas rekayasa data. Ini membantu Anda memuat, membagi, dan mengindeks dokumen ke dalam penyimpanan vektor sehingga alur kerja RAG Anda menjadi kuat dan dapat diulang, bukan sekumpulan skrip ad-hoc.

ChatClient, Penasihat, dan kemampuan percakapan

Pada tingkat pengkodean, sebagian besar interaksi Spring AI berkisar pada hal berikut: ChatClient API, sebuah antarmuka yang mudah digunakan dan terinspirasi oleh pola Spring WebClient dan RestClient yang sudah dikenal. Anda membuat dan mengirimkan perintah, menerima respons, mengalirkan token saat tiba, dan menangani kesalahan dengan cara yang terasa langsung alami bagi pengembang Spring.

Penasihat adalah abstraksi kunci lain yang merangkum pola AI generatif umum. Mereka mentransformasi data yang masuk dan keluar dari LLM, menambahkan perilaku seperti RAG atau memori, dan menyediakan portabilitas di berbagai model dan kasus penggunaan. Alih-alih menghubungkan setiap perintah atau konteks secara manual, Anda cukup menggunakan Advisor untuk mendapatkan perilaku yang tangguh dengan kode berulang yang minimal.

Memori percakapan ditangani melalui penasihat memori obrolan khusus yang mengelola dialog multi-giliran. Karena LLM sendiri bersifat stateless dan "melupakan" giliran sebelumnya, penasihat ini melacak riwayat percakapan dan memberikan potongan konteks yang tepat kembali ke setiap perintah. Anda dapat memilih di antara berbagai strategi dan bahkan menerapkan memori jangka panjang yang persisten dengan pendekatan berbasis vektor.

Kombinasi antara memori obrolan dan RAG Advisors memungkinkan Anda untuk membangun asisten yang dapat "berbicara" dengan dokumen Anda selama beberapa giliran. Pengguna dapat mengajukan pertanyaan lanjutan, menyempurnakan pertanyaan mereka, dan merujuk pada bagian percakapan sebelumnya, sementara Spring AI secara otomatis mengambil dan menyisipkan cuplikan dokumen yang paling relevan pada setiap permintaan.

Templat petunjuk memudahkan untuk mengeksternalisasi dan menggunakan kembali petunjuk tersebut. Anda mendefinisikan templat generik yang menerima parameter, menyertakan instruksi tambahan, dan menentukan format keluaran yang diinginkan (misalnya JSON yang dipetakan langsung ke objek Java). Sebelum perintah dikirim, Spring AI mengisi bagian yang kosong, menerapkan konteks, dan memastikan instruksi tersebut jelas bagi model.

RAG, pengurangan halusinasi, dan asisten yang memahami dokumen.

Retrieval Augmented Generation (RAG) adalah salah satu pola terpenting yang dibahas baik dalam kerangka kerja maupun buku ini. Ini mengatasi keterbatasan kritis dari LLM statis: mereka hanya mengetahui apa yang telah dilatih, yang berarti mereka tidak dapat melihat dokumentasi internal Anda, data pelanggan, atau pengetahuan rahasia secara default.

Dengan RAG, aplikasi Anda pertama-tama mengambil sejumlah kecil dokumen yang secara semantik mirip dengan pertanyaan pengguna, lalu memasukkan dokumen-dokumen tersebut ke dalam model sebagai konteks. Spring AI menyederhanakan banyak pekerjaan ini, berintegrasi dengan puluhan penyimpanan vektor dan menyediakan API untuk melakukan kueri berdasarkan kemiripan, memfilter berdasarkan metadata, serta menyesuaikan cara Anda membagi dan menyematkan konten Anda.

Penerapan RAG yang tepat secara dramatis mengurangi halusinasi. Alih-alih menebak ketika kekurangan informasi atau terlalu banyak dilatih pada data internet generik, model diarahkan ke cuplikan berkualitas tinggi dan spesifik domain. Buku ini membahas studi kasus "berbincang dengan dokumentasi Anda" dan "tanya jawab atas dokumen Anda" yang menunjukkan pola ini dari awal hingga akhir.

Melalui QuestionAnswerAdvisor dan ChatClientAnda dapat mengendalikan seluruh alur RAG secara eksplisit atau membiarkan Advisor mengatur penyematan, pengambilan, dan injeksi konteks untuk Anda. Hal itu memberi Anda fleksibilitas: mulailah dengan pendekatan sederhana untuk bergerak cepat, lalu turunkan satu level ketika Anda membutuhkan perilaku khusus atau optimasi mendalam.

Karena Spring AI mendukung respons streaming, jawaban yang peka terhadap dokumen tersebut dapat dikirim kembali ke UI saat dihasilkan. Ini meniru pengetikan manusia secara real-time dan memberikan pengalaman pengguna yang lebih baik, terutama ketika jawabannya panjang atau latensi model tinggi.

Pola agensi yang terinspirasi oleh penelitian Antropik

Spring AI juga mengimplementasikan serangkaian pola keagenan yang terinspirasi oleh penelitian Anthropic tentang membangun agen LLM yang efektif. Penekanannya adalah pada kesederhanaan dan kemampuan untuk dikombinasikan, bukan pada kerangka kerja agen yang berat dan rumit, yang selaras dengan persyaratan perusahaan untuk sistem yang mudah dipelihara dan diuji.

Pola pertama, Alur Kerja Berantai, memecah tugas-tugas besar menjadi serangkaian langkah yang lebih kecil dan teratur. Setiap langkah menggunakan perintahnya sendiri, mengonsumsi keluaran langkah sebelumnya, dan menghasilkan hasil sementara yang lebih baik. Dalam Spring AI, ini terlihat seperti mengulang perintah sistem dan memanggilnya. ChatClient berulang kali, meneruskan respons sebelumnya sebagai bagian dari input berikutnya, menciptakan alur kerja yang jelas dan dapat diperluas.

Alur Kerja Paralelisasi adalah tentang menjalankan beberapa panggilan LLM secara bersamaan dan menggabungkan outputnya. Anda dapat menggunakannya untuk "pemisahan" (memisahkan pekerjaan menjadi bagian-bagian independen) atau "pemungutan suara" (melakukan beberapa simulasi model untuk menangani tugas yang sama dan kemudian menggabungkan hasilnya). Misalnya, Anda dapat meminta model untuk menganalisis dampak perubahan pasar terhadap pelanggan, karyawan, investor, dan pemasok secara paralel, lalu menggabungkan wawasan tersebut.

Alur Kerja Perutean memperkenalkan pengiriman cerdas ke dalam sistem. LLM (Language Learning Module) pertama-tama mengklasifikasikan input dan memutuskan prompt atau handler khusus mana yang harus memprosesnya: pertanyaan penagihan masuk ke satu prompt ahli, masalah teknis ke prompt ahli lainnya, dan pertanyaan umum ke helper umum. Alur kerja routing Spring AI menghubungkan logika ini melalui ChatClient dan peta rute.

Orchestrator-Workers adalah pola yang lebih canggih yang tetap menghindari otonomi yang tidak terkendali. Model "orkestrator" pusat menguraikan tugas kompleks menjadi subtugas, kemudian pekerja khusus menangani subtugas tersebut, seringkali secara paralel. Setelah pekerja selesai, hasil kerja mereka digabungkan menjadi hasil akhir. Spring AI menyediakan blok bangunan untuk mengimplementasikan pola ini sambil menjaga tanggung jawab tetap jelas dan dapat diprediksi.

Terakhir, pola Evaluator-Optimizer menggunakan dua model yang bekerja sama. Satu model bertindak sebagai generator yang mengusulkan solusi, sementara model kedua berperilaku seperti kritikus atau peninjau, memeriksa solusi berdasarkan kriteria yang jelas dan memberikan umpan balik untuk perbaikan. Siklus ini berlanjut hingga evaluator merasa puas, menghasilkan respons yang lebih baik beserta jejak evolusi solusi tersebut.

Praktik terbaik, keandalan, dan evolusi masa depan

Pola dan fitur dalam Spring AI disertai dengan praktik terbaik yang jelas yang muncul baik dari riset Anthropic maupun pengalaman produksi ekosistem Spring. Saran umum adalah memulai dengan alur kerja paling sederhana yang memungkinkan, kemudian menambahkan kompleksitas hanya jika terbukti memberikan nilai tambah.

Keandalan harus menjadi perhatian utama dalam sistem apa pun yang menggunakan LLM (Low-Level Marketing). Artinya, gunakan output terstruktur yang aman tipe data sedapat mungkin, validasi respons, tambahkan penanganan kesalahan dan percobaan ulang yang kuat, serta lengkapi pipeline Anda dengan metrik dan log. Ketika terjadi kesalahan, Anda harus dapat memahami penyebabnya dan memperbaikinya dengan cepat.

Para pengembang didorong untuk mempertimbangkan dengan cermat pertimbangan antara latensi dan akurasi. Menggabungkan beberapa langkah atau menambahkan loop evaluator dapat secara signifikan meningkatkan kualitas, tetapi juga akan meningkatkan waktu respons dan konsumsi token. Paralelisasi dapat membantu mengembalikan kecepatan, tetapi hanya jika tugas-tugas tersebut benar-benar independen.

Pekerjaan di masa mendatang dalam ekosistem Spring AI akan memperdalam kemampuan seputar komposisi pola, strategi memori tingkat lanjut, dan integrasi alat. Menggabungkan berbagai pola—seperti perantaian, perutean, dan perulangan evaluator—memungkinkan Anda membangun agen canggih yang tetap mudah dipahami. Manajemen memori tingkat lanjut mengeksplorasi konteks persisten, jendela konteks yang efisien, dan retensi pengetahuan jangka panjang.

Integrasi alat dan Protokol Konteks Model (MCP) merupakan area aktif lainnya. Antarmuka terstandarisasi untuk alat eksternal dan protokol yang lebih kaya untuk konteks model berarti agen dapat mengakses layanan, API, dan sumber data Anda dengan aman dan fleksibel, semuanya di bawah tata kelola dan tumpukan pengamatan Anda.

Spring AI dalam platform yang lebih luas: Solusi AI Tanzu Gen

Bagi organisasi yang membangun di atas platform Tanzu milik VMware, Spring AI juga mendukung Solusi Tanzu Gen AI. Tanzu AI Server, yang didukung oleh Spring AI, menawarkan lingkungan siap produksi untuk menerapkan aplikasi AI pada Platform Tanzu dengan keamanan, tata kelola, dan skalabilitas tingkat perusahaan.

Integrasi ini menyederhanakan akses ke model seperti Amazon Bedrock Nova melalui antarmuka terpadu. Alih-alih setiap tim membuat koneksi modelnya sendiri, platform ini menstandarisasi akses, kebijakan keamanan, dan alat operasional. Spring AI menangani portabilitas model, sementara Tanzu menyediakan infrastruktur yang tangguh, penskalaan otomatis, dan kemampuan pengamatan yang Anda harapkan dari platform Kubernetes modern.

Karena Spring AI bertanggung jawab atas abstraksi tingkat aplikasi, tim dapat berpindah antar penyedia atau mengadopsi model baru tanpa perlu menulis ulang logika bisnis mereka. Kemampuan beradaptasi tersebut sangat penting dalam lanskap AI yang bergerak cepat, di mana model-model baru sering muncul dan harga atau kemampuannya dapat berubah dengan cepat.

Fitur keamanan dan tata kelola dalam Solusi AI Tanzu Gen membungkus aplikasi AI ini dalam kontrol perusahaan yang sama yang digunakan untuk layanan mikro lainnya. Kebijakan, kontrol akses, jejak audit, dan perangkat kepatuhan secara alami terintegrasi ke dalam beban kerja LLM, sehingga memudahkan untuk menjalankan kasus penggunaan yang sensitif atau yang diatur.

Semua lapisan ini—kerangka kerja, buku, pola, dan platform—berkonvergensi menuju tujuan yang sama: memungkinkan pengembang Spring untuk menambahkan fitur AI bernilai tinggi seperti asisten virtual, pencarian cerdas, ringkasan teks, dan rekomendasi langsung ke dalam aplikasi Java tanpa mengorbankan keandalan atau kontrol. Dengan Spring AI in Action sebagai panduan praktis Anda dan Spring AI sebagai tulang punggung rekayasa Anda, Anda dapat beralih dari eksperimen ke layanan berbasis AI yang tangguh sambil tetap berada dalam ekosistem Spring yang sudah Anda kenal dengan baik.

Artikel terkait:

Bagaimana cara menyetujui AWS adalah hal yang sama: keadaan, sebab dan akibat yang nyata