Сэтгэл ханамжийн түвшинг Random Forest машин сургалтын загвараар ангилж, гүйцэтгэлийг үнэлэх нь
:
https://doi.org/10.65168/:
Лайкерт шкал, ангиллын шинжилгээХураангуй
Сэтгэл ханамжийн үнэлгээ нь үйлчилгээ, байгууллагын гүйцэтгэлийг хэмжихэд өргөн хэрэглэгддэг боловч Лайкерт шкал бүхий субъектив өгөгдөлд тулгуурладаг тул уламжлалт статистик аргуудаар бүрэн тайлбарлахад хүндрэлтэй байдаг. Энэхүү судалгааны зорилго нь сэтгэл ханамжийн V1–V4 асуултуудад тулгуурлан High болон Medium түвшний сэтгэл ханамжийг Random Forest машин сургалтын загвараар ангилах, уг загварын гүйцэтгэлийг иж бүрэн үнэлэхэд оршино.
Судалгаанд 42 ажиглалтаас бүрдэх өгөгдлийг ашиглаж, Random Forest загварыг 10-fold cross-validation-ийг 20 удаа давтан хэрэглэн оновчлон тохируулсан. Загварын гүйцэтгэлийг accuracy, Cohen’s Kappa, confusion matrix, ROC муруй, AUC, feature importance болон permutation test ашиглан үнэлэв.
Судалгааны үр дүнгээс харахад Random Forest загвар нь 97.75%-ийн үнэн зөвшил, 0.93-ийн Cohen’s Kappa үзүүлж, ангиллын тохиролцоо өндөр байгааг харууллаа. ROC шинжилгээгээр AUC = 0.9998 гарсан нь High болон Medium сэтгэл ханамжийн түвшинг бараг төгс ялгаж байгааг илтгэнэ. Feature importance шинжилгээгээр V2 асуулт ангиллын гүйцэтгэлд хамгийн их нөлөө үзүүлсэн бол V1 асуултын нөлөө харьцангуй бага байв. Мөн 100 удаагийн permutation test-ийн үр дүнгээр бодит загварын гүйцэтгэл нь санамсаргүй байдлаас статистикийн хувьд мэдэгдэхүйц өндөр (p < 0.01) болох нь батлагдсан.
Судалгааны үр дүн нь Random Forest загвар нь
Ном зүй
Breiman, L. (2001). Random forests. Machine Learning, 45(1), 5–32.
DeVellis, R. F. (2016). Scale Development: Theory and Applications (4th ed.). Sage Publications.
Fawcett, T. (2006). An introduction to ROC analysis. Pattern Recognition Letters, 27(8), 861–874.
Good, P. (2005). Springer. Permutation, Parametric and Bootstrap Tests of Hypotheses.
Hastie, T. T. (2009). The Elements of Statistical Learning. Springer.
Kohavi, R. (1995). A study of cross-validation and bootstrap for accuracy estimation and model
selection. International Joint Conferences on Artificial Intelligence (IJCAI).
Kuhn, M. (2008). Building predictive models in R using the caret package. Journal of Statistical Software, 28(5).
Liaw, A. &. (2002). R News. Classification and regression by randomForest, 2(3), 18–22.
Likert, R. (1932). A technique for the measurement of attitudes. Archives of Psychology, 22(140), 1–55.
