Tìm hiểu các kỹ thuật phân loại văn bản tiếng việt
➤ Gửi thông báo lỗi ⚠️ Báo cáo tài liệu vi phạmNội dung chi tiết: Tìm hiểu các kỹ thuật phân loại văn bản tiếng việt
Tìm hiểu các kỹ thuật phân loại văn bản tiếng việt
J íTRƯỜNG ĐẠI HỌC AN GIANG KHOA KỸ THUẬT - CÔNG NGHỆ - MÔI TRƯỜNGDUONG THANH TRỰC - DTH082062KHÓA LUẬN TÓT NGHIỆP ĐẠI HỌC NGÀNH cử NHÂN TIN HỌCTÌM HIỂ Tìm hiểu các kỹ thuật phân loại văn bản tiếng việt ỂU CÁC KỸ THUẬT PHẦN LOẠI VĂN BẢN TIẾNG VIỆTGiảng viên hướng dẫn TS. Nguyễn Văn HòaTRƯỜNG ĐẠI HỌC AN GIANGTHƯ VIỆNAn Giang, 05/2012LỜI CẢM ƠN- 'Trước tiên, em muốn gửi lời cảm ơn sâu sắc nhất đến thầy giáo, Tiến sĩ Nguyễn Văn Hòa người đã tận tình hướng dẫn em trong suốt quá trình thực hiện khóa luậ Tìm hiểu các kỹ thuật phân loại văn bản tiếng việt n tốt nghiệp.Em xin bày tò lời cảm ơn sâu sắc nhất đến thầy Ths. Hồ Nhã Phong, cô giáo Ths. Nguyễn Thị Mỹ Truyền cùng những thầy cô giáo đã tận tinh gTìm hiểu các kỹ thuật phân loại văn bản tiếng việt
iảng dạy em trong bốn năm qua, những kiến thức mà em nhận được trên giảng đường đại học sẽ là hành trang giúp eni vững bước ừong tương lai.Cuối cùng, J íTRƯỜNG ĐẠI HỌC AN GIANG KHOA KỸ THUẬT - CÔNG NGHỆ - MÔI TRƯỜNGDUONG THANH TRỰC - DTH082062KHÓA LUẬN TÓT NGHIỆP ĐẠI HỌC NGÀNH cử NHÂN TIN HỌCTÌM HIỂ Tìm hiểu các kỹ thuật phân loại văn bản tiếng việt khó khàn trong cuộc sống.Sinh viênDương Thanh Trực•*<■' TÓM TẮTPhân loại văn^bản là nhận biết nội dunệ trong văn bàn cần phân loại nói về các vấn đề thuộc chủ đề nào đó. Đây là vấn đề rat đơn giản đối với chúng ta, nhưng lại là một viộc rất khó khăn đối với máy. Việc huấn luyện đê một cái máỵ hiêu Tìm hiểu các kỹ thuật phân loại văn bản tiếng việt và phân loại được các văn bản (với ti lệ chính xác cao) hiện đang là một vân đê nan giải, đặc biệt đối với văn bản tiếng Việt. Hiện nay, đã có khá nhiTìm hiểu các kỹ thuật phân loại văn bản tiếng việt
ều nghiên cứu về vấn đề này và đạt được các kết quả khả quan, tuy nhiên còn gặp phải nhiều vướng mac can được giải quyết. Trong khóa luận này tôi sõ gJ íTRƯỜNG ĐẠI HỌC AN GIANG KHOA KỸ THUẬT - CÔNG NGHỆ - MÔI TRƯỜNGDUONG THANH TRỰC - DTH082062KHÓA LUẬN TÓT NGHIỆP ĐẠI HỌC NGÀNH cử NHÂN TIN HỌCTÌM HIỂ Tìm hiểu các kỹ thuật phân loại văn bản tiếng việt ợ (SVM) và phương pháp phân loại theo hướng thống kê vì chúng là các phương 'pháp được đánh giá cao và được sử dụng nhiều trong lĩnh vực này (chi tiết về hai phương pháp này sẽ dược giới thiệu ưong các phân sau).Quá trinh phân loại văn bàn dược chia làm 3 giai đoạn chính:-Giai đoạn chuẩn bị dử liệu: Tìm hiểu các kỹ thuật phân loại văn bản tiếng việt Thu thập tập dữ liệu mẫu, tách từ, tính các trọng số từ, loại bỏ các tù tầm thường không có ý nghĩa phân loại, lựa chọn các đặc trưng.-Giai đoạn huấnTìm hiểu các kỹ thuật phân loại văn bản tiếng việt
luyện dữ liệu: Xây dựng các mô hình phân loại, tùy theo phương pháp được chọn mà sẽ có cách xây dựng bộ phân loại khác nhau.-Giai đoạn phân lớp đánh J íTRƯỜNG ĐẠI HỌC AN GIANG KHOA KỸ THUẬT - CÔNG NGHỆ - MÔI TRƯỜNGDUONG THANH TRỰC - DTH082062KHÓA LUẬN TÓT NGHIỆP ĐẠI HỌC NGÀNH cử NHÂN TIN HỌCTÌM HIỂ Tìm hiểu các kỹ thuật phân loại văn bản tiếng việt loại.Tôi đã thực nghiêm trên 5 chủ đề: giáo dục, pháp luật, sức khỏe, thể thao, vi tính. Với mỗi chù để tôi thu thập 200 vãn bản mẫu làm tập dữ liệu học và kiêm ưa (tông cộng 1000 văn bàn). Sau khi sử dụng phương pháp hold-out (lây ngẫu nhiên 1/3 tập dữ liệu đê học và 1/3 tập dữ liệu còn lại dùng c Tìm hiểu các kỹ thuật phân loại văn bản tiếng việt ho kiêm tra, lặp lại quá trình này 3 lần rôi lấy giá trị trung bình) đề đánh giá hiệu quà của các bộ phân loại theo hai phương pháp SVM và phương phápTìm hiểu các kỹ thuật phân loại văn bản tiếng việt
thống kê thu được kết quả:Phương phápĐộ chỉnh xácSVM0.9667Thống kê0.9626MỤC LỤCCHƯƠNG 1: TỔNG QUAN............................................... ,..J íTRƯỜNG ĐẠI HỌC AN GIANG KHOA KỸ THUẬT - CÔNG NGHỆ - MÔI TRƯỜNGDUONG THANH TRỰC - DTH082062KHÓA LUẬN TÓT NGHIỆP ĐẠI HỌC NGÀNH cử NHÂN TIN HỌCTÌM HIỂ Tìm hiểu các kỹ thuật phân loại văn bản tiếng việt .....................11.3.Phạm vi của đề tài.......................................................21.4.Phương pháp nghiên cứu/ hướng giải quyết vấn đề..........................2CHƯƠNG 2: cơ sở LÝ THUYẾT........................................................42.1. Giới thiệu bài toán phân loại văn b Tìm hiểu các kỹ thuật phân loại văn bản tiếng việt àn tiếng Việt..........................42.2.Mô hình phân loại vãn bản................................................42.1.1.Giai đoạn chuẩn bị dữ liệuTìm hiểu các kỹ thuật phân loại văn bản tiếng việt
.........................................4J íTRƯỜNG ĐẠI HỌC AN GIANG KHOA KỸ THUẬT - CÔNG NGHỆ - MÔI TRƯỜNGDUONG THANH TRỰC - DTH082062KHÓA LUẬN TÓT NGHIỆP ĐẠI HỌC NGÀNH cử NHÂN TIN HỌCTÌM HIỂJ íTRƯỜNG ĐẠI HỌC AN GIANG KHOA KỸ THUẬT - CÔNG NGHỆ - MÔI TRƯỜNGDUONG THANH TRỰC - DTH082062KHÓA LUẬN TÓT NGHIỆP ĐẠI HỌC NGÀNH cử NHÂN TIN HỌCTÌM HIỂGọi ngay
Chat zalo
Facebook