THE ROLE OF FEATURE SELECTION IN ENHANCING THE ACCURACY OF AI ASSISTANT AUTO-LABELING

Indri Tri Julianto, Dede Kurniadi, Benedicto B. Balilo Jr, Fauza Rohman

Abstract


Abstract: The development of AI assistants such as Gemini and ChatGPT can significantly assist in daily human tasks. In the field of Sentiment Analysis, AI assistants can be utilized as an automated labeling alternative to provide positive, negative, or neutral sentiments within a dataset. This research aims to enhance the performance of AI assistants in automated labeling processes by employing the Feature Selection algorithm, specifically Forward Selection. The methodology involves utilizing the Naïve Bayes and K-NN algorithms, and subsequently improving accuracy through the Feature Selection algorithm. The evaluation is conducted using K-Fold Cross Validation. Research findings indicate an improvement in the accuracy of the best model, which is ChatGPT, when using the Naïve Bayes algorithm and Shuffled Sampling technique. The initial accuracy of 79.09% increased to 87.18% after Feature Selection was applied. This demonstrates the effectiveness of Feature Selection, particularly Forward Selection, in enhancing the accuracy performance of the model.

           
Keywords: ai; assistant; chat gpt; feature selection; gemini.

 

 

Abstrak: Pekembangan Asisten AI seperti Gemini dan Chat GPT dapat membantu pekerjaan manusia sehari-hari. Dalam bidang Analisis Sentimen, Asisten AI dapat digunakan sebagai alternatif pelabelan otomatis untuk memberikan sentimen positif, negatif atau netral dalam suatu dataset. Penlitian ini bertujuan untuk meningkatkan performa yang dihasilkan oleh Asisten AI dalam proses pelabelan otomatis menggunakan Algortima Feature Selection yaitu Forward Selection. Metode yang digunakan adalah dengan menggunakan Algoritma Naïve Bayes dan K-NN kemudian hasil akurasi akan ditingkatkan menggunkan Algoritma Feature Selection. Evaluasi yang digunakan adalah K-Fold Cross Validation. Hasil penelitian menunjukkan peningkatan akurasi model terbaik berada pada Chat GPT dengan menggunakan Algoritma Naïve Bayes dan Teknik Shuffled Sampling, dari nilai akurasi awal sebesar 79.09%, setelah ditingkatkan menggunakan Feature Selection, maka nilai akurasinya meningkat menjadi 87.18%. Hal ini membuktikan peran Feature Selection, dimana yang digunakan adalah Forward Selection dalam meningkatkan akurasi ternyata memang efektif dalam meningkatkan performa akurasi model.

 

Kata kunci: ai; assisten; chat gpt; feature selection; gemini

 


Full Text:

PDF

References


N. Fitriyah, B. Warsito, and D. A. I. Maruddani, “Analisis Sentimen Gojek Pada Media Sosial Twitter Dengan Klasifikasi Support Vector Machine (SVM),” J. Gaussian, vol. 9, no. 3, pp. 376–390, 2020, doi: 10.14710/j.gauss.v9i3.28932.

P. A. Telnoni, Suryatiningsih, and E. Rosely, “Pelabelan Data Dengan Latent Dirichlet Allocation dan K-Means Clustering pada Data Twitter Menggunakan Bahasa Indonesia Data Labeling using Latent Dirichlet Allocation and K-Means Clustering on Indonesian-Based Twitter,” J. Elektro Telekomun. Terap., vol. 7, no. 2, pp. 885–892, 2020.

Aditya Quantano Surbakti, Regiolina Hayami, and Januar Al Amien, “Analisa Tanggapan Terhadap PSBB Di Indonesia Dengan Algoritma Decision Tree Pada Twitter,” J. CoSciTech (Computer Sci. Inf. Technol., vol. 2, no. 2, pp. 91–97, 2021, doi: 10.37859/coscitech.v2i2.2851.

A. Ahmad and W. Gata, “Sentimen Analisis Masyarakat Indonesia di Twitter Terkait Metaverse dengan Algoritma Support Vector Machine,” J. JTIK (Jurnal Teknol. Inf. dan Komunikasi), vol. 6, no. 4, pp. 548–555, 2022, doi: 10.35870/jtik.v6i4.569.

R. A. Sekarwati, A. Sururi, Rakhmat, M. Arifin, and A. Wibowo, “Survei Metode Pengujian Chatbot pada Media Sosial untuk Mengukur Tingkat Akurasi,” J. SISFOTENIKA, vol. 11, no. 2, pp. 172–182, 2021.

I. T. Julianto, D. Kurniadi, and B. B. B. Jr, “Enhancing Sentiment Analysis With Chatbots : A Comparative Study Of Text Pre-Processing,” JUTIF, vol. 4, no. 6, pp. 1419–1430, 2023.

M. Dowling and B. Lucey, “ChatGPT for (Finance) research: The Bananarama Conjecture,” Financ. Res. Lett., no. 103662, pp. 1–20, 2023, doi: 10.1016/j.frl.2023.103662.

I. T. Julianto, D. Kurniadi, Y. Septiana, and A. Sutedi, “Alternative Text Pre-Processing using Chat GPT Open AI,” Janapati, vol. 12, no. 1, pp. 67–77, 2023, [Online]. Available: https://wjaets.com/content/artificial-intelligence-ai-based-chatbot-study-chatgpt-google-ai-bard-and-baidu-ai.

S. Singh, S. Tiwari, and P. K. Yadav, “Chat GPT : Exploring The Capabilities And Limitations Of A Large Language,” Int. J. Eng. Appl. Sci. Technol., vol. 7, no. 12, pp. 111–115, 2023.

OpenAI, “ChatGPT: Optimizing Language Models for Dialogue,” openai.com, 2022. https://openai.com/blog/chatgpt/.

Ö. Aydın and E. Karaarslan, “OpenAI ChatGPT Generated Literature Review: Digital Twin in Healthcare,” SSRN Electron. J., vol. 2, pp. 22–31, 2022, doi: 10.2139/ssrn.4308687.

I. Ubaedi and Y. M. Djaksana, “Optimasi Algoritma C4.5 Menggunakan Metode Forward Selection Dan Stratified Sampling Untuk Prediksi Kelayakan Kredit,” JSiI (Jurnal Sist. Informasi), vol. 9, no. 1, pp. 17–26, 2022, doi: 10.30656/jsii.v9i1.3505.

D. Kurniadi, F. Nuraeni, and S. M. Lestari, “Implementasi Algoritma Naïve Bayes Menggunakan Feature Forward Selection dan SMOTE Untuk Memprediksi Ketepatan Masa Studi Mahasiswa Sarjana,” J. Sist. Cerdas, vol. 05, no. 02, pp. 63–82, 2022.

I. T. Julianto, D. Kurniadi, F. A. Fauziah, and R. Rohmanto, “Improvement of Data Mining Models using Forward Selection and Backward Elimination with Cryptocurrency Datasets,” J. Appl. Intell. Syst., vol. 8, no. 1, pp. 100–109, 2023.

Junadhi, Agustin, M. Rifqi, and M. K. Anam, “Sentiment Analysis Of Online Lectures Using K-Nearest Neighbors Based On Feature Selection,” Janapati, vol. 11, no. 3, pp. 216–225, 2022.

J. Watori, R. Aryanti, and A. Junaidi, “Penggunaan Algoritma Klasifikasi Terhadap Analisa Sentimen Pemindahan Ibukota Dengan Pelabelan Otomatis,” J. Inform., vol. 7, no. 1, pp. 85–90, 2020.

I. F. Ashari, “Analysis Sentiments In Facebook Down Case Using Vader And Naive Bayes Classification Method,” Multitek Indones. J. Ilm., vol. 16, no. 2, pp. 75–89, 2023.

Y. Asri, W. N. Suliyanti, D. Kuswardani, and M. Fajri, “Pelabelan Otomatis Lexicon Vader dan Klasifikasi Naive Bayes dalam menganalisis sentimen data ulasan PLN Mobile,” PETIR J. Pengkaj. dan Penerapan Tek. Inform., vol. 15, no. 2, pp. 264–275, 2022.

A. Pebdika, R. Herdiana, and D. Solihudin, “Klasifikasi Menggunakan Metode Naive Bayes Untuk Menentukan Calon Penerima PIP,” JATI (Jurnal Mhs. Tek. Inform., vol. 7, no. 1, pp. 452–458, 2023.

M. K. Insan, U. Hayati, and O. Nurdiawan, “Analisis Sentimen Aplikasi Brimo Pada Ulasan Pengguna Di Google Play Menggunakan Algoritma Naive Bayes,” JATI (Jurnal Mhs. Tek. Inform., vol. 7, no. 1, pp. 478–483, 2023.

S. R. Cholil, T. Handayani, R. Prathivi, and T. Ardianita, “Implementasi Algoritma Klasifikasi K-Nearest Neighbor (KNN) Untuk Klasifikasi Seleksi Penerima Beasiswa,” IJCIT (Indonesian J. Comput. Inf. Technol., vol. 6, no. 2, pp. 118–127, 2021.

H. Andriana, S. S. Hilabi, and A. Hananto, “Penerapan Metode K-Nearest Neighbor pada Sentimen Analisis Pengguna Twitter Terhadap KTT G20 di Indonesia,” JURIKOM (Jurnal Ris. Komputer), vol. 10, no. 1, pp. 60–67, 2023, doi: 10.30865/jurikom.v10i1.5427.

A. Prasetya, F. Ferdiansyah, Y. N. Kunang, E. S. Negara, and W. Chandra, “Sentiment Analisis Terhadap Cryptocurrency Berdasarkan Comment Dan Reply Pada Platform Twitter,” J. Inf. Syst. Informatics, vol. 3, no. 2, pp. 268–277, 2021, doi: 10.33557/journalisi.v3i2.124.

R. Rinandyaswara, Y. A. Sari, and M. T. Furqon, “Pembentukan Daftar Stopword Menggunakan Term Based Random Sampling Pada Analisis Sentimen Dengan Metode Naïve Bayes ( Studi Kasus : Kuliah Daring Di Masa Pandemi ),” J. Teknol. Inf. dan Ilmu Komput., vol. 9, no. 4, pp. 717–724, 2022, doi: 10.25126/jtiik.202294707.

M. U. Albab, Y. K. P, and M. N. Fawaiq, “Optimization of the Stemming Technique on Text preprocessing President 3 Periods Topic,” J. Transform., vol. 20, no. 2, pp. 1–10, 2023.

I. T. Julianto, D. Kurniadi, M. R. Nashrulloh, and A. Mulyani, “Comparison Of Classification Algorithm And Feature Selection in Bitcoin Sentiment Analysis,” JUTIF, vol. 3, no. 3, pp. 739–744, 2022.

K. Ayuningsih, Y. A. Sari, and P. P. Adikara, “Klasifikasi Citra Makanan Menggunakan HSV Color Moment dan Local Binary Pattern dengan Naïve Bayes Classifier,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. Univ. Brawijaya, vol. 3, no. 4, pp. 3166–3173, 2019.

A. Y. Pratama, Y. Umaidah, and A. Voutama, “Analisis Sentimen Media Sosial Twitter Dengan Algoritma K-Nearest Neighbor dan Seleksi Fitur Chi-Square (Kasus Omnibus Law Cipta Kerja),” Sains Komput. Inform., vol. 5, no. 2, pp. 897–910, 2021, [Online]. Available: https://tunasbangsa.ac.id/ejurnal/index.php/jsakti/article/view/386/365.

N. S. Rosli, M. F. Mustapha, M. Madihah, M. Azmee, and N. A. Mohd, “Sentiment Analysis on TikTok Using RapidMiner,” Appl. Math. Comput. Intell., vol. 11, no. 1, pp. 360–372, 2022.




DOI: https://doi.org/10.33330/jurteksi.v11i1.3364

Article Metrics

Abstract view : 28 times
PDF - 31 times

Refbacks

  • There are currently no refbacks.


Lembaga Penelitian dan Pengabdian Kepada Masyarakat (LPPM) Universitas Royal

Copyright © LPPM UNIVERSITAS ROYAL

 

Lisensi Creative Commons
Ciptaan disebarluaskan di bawah Lisensi Creative Commons Atribusi-BerbagiSerupa 4.0 Internasional.