Makine Öğrenmesi Yaklaşımları Kullanarak Urduca Haberlerin Kategorizasyonu

Abstract

Hızlı teknolojik gelişmeler medyada haber içeriğinin sunuluş biçimini değiştirmiştir. Son otuz yıl, işletmeden ekonomiye, bilim ve teknolojiden spora kadar geniş bir yelpazede haber içeriği sunan dijital medya platformlarının ortaya çıkışına tanık oldu. Üretilen büyük miktarda veri nedeniyle, bunları otomatik olarak kategorize etme ihtiyacı ortaya çıkmıştır. Bu gelişmelere paralel olarak, Urduca haberlerin metin kategorizasyonu problemi dört makine öğrenme yaklaşımı kullanarak (Naïve Bayes, Destek Vektör Makineleri, Lojistik Regresyon ve Karar ağacı) ele alınmıştır. İlk aşamada, dört farklı kategoriye (Spor, İş & Ekonomi, Bilim & Teknoloji ve Eğlence) ait 4000 haber metni içeren veriler toplanarak bir veri kümesi oluşturulmuştur. Toplanan veriler işlenmemiş olduğundan makine öğrenimi modeli kurulmadan önce, dizge parçalama, durdurma sözcüklerinin kaldırılması ve baş kelimeyi bulma gibi ön işleme teknikleri uygulanmıştır. Daha sonra öznitelikler, Kelime Torbası ve Terim Sıklığı-Ters Doküman Sıklığı yöntemleriyle çıkartılmıştır. Son aşamada, doğruluk, kesinlik, geri çağırma ve F1 puanı metrikleri kullanılarak makine öğrenimi algoritmalarının performansı değerlendirilmiştir. İleride yapılacak çalışmalarda, daha fazla veri toplanması ile derin öğrenme modellerinden yararlanılabilir ve gerçek zamanlı kategorileştirme yapan bir sistem geliştirilebilir.

Rapid technological developments have changed the way of presenting news content in media. The last three decades have witnessed the emergence of digital media platforms that offer a broad variety of news content ranging from business to, economics, from Science&Technology to sports. Due to massive amount of data produced, the need for automatically categorizing them has arisen. Motivated by this, we have addressed the problem of text categorization of Urdu news by using four machine learning approaches namely (Naïve Bayes, Support Vector Machines, Logistic Regression and Decision tree). In the first step we have collected the data which contains 4000 news belonging to four different categories (Sports, Business-&-Economics, Science-&- Technology and Entertainment). The data is in the raw format so before setting up the machine learning model, we applied pre-processing techniques like tokenization, removing the stop words and lemmatization. Then, the features are extracted Bag of Words and Term Frequency-Inverse Document Frequency methods. In the last step, we evaluate the performance of machine learning algorithms utilizing accuracy, precision, recall, and F1-score metrics. In future work, deep learning models can be can be utilized provided that more data is collected and a system can be developed which performs real-time categorization.