Analisis Sentimen dan Perbandingan Ulasan Pengguna ChatGPT dan Grok Menggunakan Support Vector Machine (SVM)
DOI:
https://doi.org/10.52436/1.jpti.2018Keywords:
analisis sentimen, SVM, lexicon-based, chatgpt, grok, machine learning, Google Play Store reviewsAbstract
Adopsi aplikasi chatbot berbasis AI, seperti ChatGPT dan Grok, yang menghasilkan berbagai ulasan pengguna di platform digital, telah meningkat karena kemajuan kecerdasan buatan. Analisis sentimen dari evaluasi ini dapat digunakan untuk memastikan tingkat kebahagiaan dan persepsi pengguna. Studi ini menggunakan teknik berbasis leksikon dan Support Vector Machine (SVM) untuk memeriksa dan membandingkan sentimen evaluasi pengguna ChatGPT dan Grok. Data penelitian terdiri dari 5.000 ulasan pelanggan yang dikumpulkan dari Google Play Store menggunakan teknik web scraping. Pra-pemrosesan data, pelabelan sentimen berbasis leksikon, pembagian 80:20 antara data pelatihan dan data uji, dan klasifikasi algoritma kernel SVM merupakan beberapa langkah dalam proses penelitian. Matriks kebingungan dan laporan klasifikasi dengan metrik termasuk akurasi, presisi, recall, dan F1-score digunakan untuk mengevaluasi model. Menurut temuan, model SVM memperoleh akurasi 89% pada dataset ChatGPT dan 88% pada dataset Grok. Kelas sentimen positif memperoleh nilai presisi dan F1-score tertinggi, masing-masing sebesar 0,93 dan 0,92, pada kedua dataset. Selain itu, model dataset Grok mengungguli ChatGPT dalam mengidentifikasi sentimen negatif. Secara keseluruhan, pendekatan kernel SVM menunjukkan efektivitas dalam menilai sentimen secara akurat dalam ulasan pengguna aplikasi chatbot AI.
Downloads
References
D. Fitriono, R. Indriati, and A. Ristyawan, “Analisis Sentimen Ulasan Aplikasi Chatgpt Menggunakan Algoritma Support Vector Machine dan Lexicon Based,” vol. 3, no. 2, pp. 101–111, 2025, doi: https://doi.org/10.53624/jsitik.v3i2.719.
A. Suharman, M. K. Sulaeman, T. Industri, U. Muhammadiyah, and P. Hamka, “Analisis Sentimen Pengguna Aplikasi Livin’ by Mandiri Menggunakan Metode Support Vector Machine (SVM) dengan Ekstraksi Fitur TF-IDF dan Word2Vec,” vol. 5, no. 8, pp. 2201–2212, 2025, doi: https://doi.org/10.52436/1.jpti.941.
W. Andriyani, Y. Astuti, and B. A. Wisesa, “Analisis Sentimen pada Ulasan Produk dengan SVM dan Word2Vec Sentiment Analysis on Product Reviews with SVM and Word2Vec,” vol. 8, no. 1, pp. 173–185, 2024, doi: 10.26798/jiko.v8i1.1498.
A. Tujahidah, M. Julkarnain, S. A. Oktavia, W. Yunanri, and S. Esabella, “Analisis Sentimen Facebook & Instagram tentang Pilgub NTB 2024 dengan Algoritma SVM,” vol. 4, no. 1, pp. 16–22, 2025, doi: 10.47065/mis.v2i3.
O. Manullang, C. Prianto, and N. H. Harani, “Analisis Sentimen Untuk Memprediksi Hasil Calon Pemilu Presiden Menggunakan Lexicon Based dan Random Forest,” no. 54, 2023, doi: https://doi.org/10.33884/jif.v11i02.7987.
S. Ernawati and R. Wati, “Evaluasi Performa Kernel SVM dalam Analisis Sentimen Review Aplikasi ChatGPT Menggunakan Hyperparameter dan VADER Lexicon,” vol. 15, no. 1, pp. 40–49, 2024, doi: https://doi.org/10.24002/jbi.v15i1.7925.
E. D. Shanty, B. A. Jayadi, and V. C. Mawardi, “Analisa Sentimen Ulasan Aplikasi Transportasi Menggunakan Metode Svm Dengan Pendekatan Inset Lexicon-Based,” vol. 9, no. 1, pp. 99–108, 2025, doi: https://doi.org/10.24912/19y15a17.
M. R. A. Yudianto, A. Rahim, P. Sukmasetya, and R. A. Hasani, “Perbandingan Metode Support Vector Machine Dengan Metode Lexicon Dalam Analisis Sentimen Bahasa,” vol. 6, no. 1, 2022, doi: 10.36294/jurti.v6i1.2537.
M. J. Setiawan, V. Rahmayanti, and S. Nastiti, “DANA App Sentiment Analysis: Comparison of XGBoost, SVM, and Extra Trees,” vol. 13, no. 3, pp. 337–345, 2024, doi: 10.32736/sisfokom.v13i3.2239.
A. R. Sitorus, W. John, P. Ziraluho, and I. M. S. S, “Analisis Sentimen Game Mobile Legends Berdasarkan Review Pengguna Di Playstore Menggunakan Algoritma Naive Bayes,” vol. 4, no. 2, pp. 108–113, 2024, doi: https://doi.org/10.29407/avw8b190.
M. Iqbal, M. Afdal, and R. Novita, “Implementasi Algoritma Support Vector Machine untuk Analisa Sentimen Data Ulasan Aplikasi Pinjaman Online Di Google Play Store,” vol. 4, no. 4, pp. 1244–1252, 2024, doi: https://doi.org/10.57152/malcom.v4i4.1435.
F. Fitriana and H. Setiawan, “Performance Analysis of SVM In Emotion Classification?: A Comparative Study Of TF-IDF and Countvectorizer,” vol. 6, no. 2, pp. 133–145, 2025, doi: https://doi.org/10.59562/jessi.v6i2.8396.
M. H. Mahendra, D. T. Murdiansyah, and K. M. Lhaksmana, “Analisis Sentimen Tweet COVID-19 Menggunakan Metode K-Nearest Neighbors dengan Ekstraksi Fitur TF-IDF dan CountVectorizer Dike?: Jurnal Ilmu Multidisiplin,” vol. 1, no. 2, pp. 37–43, 2023, doi: https://doi.org/10.69688/dike.v1i2.35.
A. Faradisia and M. A. I. Pakereng, “Analisis Komparatif Kernel Linear, Polynomial, RBF, dan Sigmoid pada Support Vector Machine untuk Klasifikasi Penyakit Jantung,” MALCOM Indones. J. Mach. Learn. Comput. Sci., vol. 5, no. 4, pp. 1531–1537, 2025, doi: https://doi.org/10.57152/malcom.v5i4.2321.
A. Salman and Kusnawi, “Komparasi Metode KNN dan Naive Bayes Terhadap Analisis Sentimen Pengguna Aplikasi Shopee,” vol. 12, no. 1, pp. 2766–2776, 2023, doi: https://doi.org/10.33022/ijcs.v12i5.3304.
S. A. Nugraha, “Penerapan Lexicon Based Untuk Analisis Sentimen Masyarakat Indonesia Terhadap Danantara,” vol. 9, no. 3, pp. 4949–4957, 2025, doi: 10.36040/jati.v9i3.13836.
H. Bichri, A. Chergui, and M. Hain, “Investigating the Impact of Train / Test Split Ratio on the Performance of Pre-Trained Models with Custom Datasets,” vol. 15, no. 2, pp. 331–339, 2024, doi: 10.14569/IJACSA.2024.0150235.
