Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật toán SVM.

DẠI HỌC HUẾ

TRƯỜNG DẠI HỌC KHOA HỌC

NGUYÊN THỂ CƯỜNG

NÂNG CAO HIỆU NĂNG PHÂN LỚP DỮ LIỆU TRÊN Cơ SỞ CẢI TIẾN THUẬT TOÁN SVM

LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH

ĐẠI HỌC HUẼ TRƯỜNG ĐẠI HỌC KHOA HỌC

NGUYỄN THẼ CƯỜNG

NÂNG CAO HIỆU NĂNG PHÂN LỚP DỮ LIỆU Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật toán SVM.

TRÊN Cơ SỜ CẢI TIỄN THUẬT TOÁN SVM

NGÀNH: KHOA HỌC MÁY TÍNH

MÃ SỐ: 9.48.01.01

Người hướng dẫn khoa học:

PGS.TS. Huỳnh Thế Phùng

Nti»g cao hiện phân lớp dữ liệu trên cơ Sơ cải tiê)ì thuật toán

LỜI CAM ĐOAN

Tôi xin cam đoan đề tài: "Nâng cao hiệu nùng phân lớp dữ liệu trên cơ sờ cải tiến thuật toán SVM" là một công trinh nghiên Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật toán SVM. cứu cùa riêng tôi. dưới sự hướng dàn cùa PGS.TS. Huỳnh Thế Phùng. Các số liệu sìf dụng trong luận án là trung thực. Các thuật toán được đẽ xuất là hoàn toàn mới, các kết quà thực nghiệm được thực hiện trên nhũng bộ dữ liệu khách quan. Nhùng kẽt quà của luận án chi được công bô trong các công trình liên quan đến luận án.

Nghiên cún sinh

Nguyền Thế cường

LỜI CẢM ƠN

T.uận án nãy Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật toán SVM. sè không Ihế (rờ (hãnh hiện thực nếu không có sự úng hộ vã giúp đờ cá về Iri thức lân linh thăn c úd rất nhiêu người quan trọng trong t uộc đời lôi.

lôi xin bày tỏ lòng bict oil sâu sâc den quý Thây, cô khoa công nghệ Thông tin và khoa Toán (rường Đại học: Khoa học , Đại học Huế, trưởng Đại học Sư phạm, Đại học Hue, những người dã dạy tôi không chì kiên thức mà còn là Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật toán SVM. thái dộ sông từ kill tôi lời Huế, đến bây giờ và mai sau nừa.

Xin chân thành càm oil phòng dào tạo sau Dại học nường Dại học Khoa học. Dại học Huế đã hương (lân tận tinh thú tục can thiết đế tôi hoàn thành hồ sơ Khoa học.

Xin cám oil thành phố Huế, một nơi đặc biệt đối với tôi trên hành trình học làm người. Xin cảm ơn tãt cà các anh, em và bạn bè sõng tại Huế. Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật toán SVM.

Xin cám ơn khoa Cơ bán trường Sĩ quan Thông tin đà tạo điêu kiện vè mặt thời gian đế tôi hoàn thành quá trình học tập và nghiên cứu.

Nhân dịp này, tôi xin chân thành cảm ơn tất cả mọi người trong gia đình tôi, đã luôn ủng hộ cả về vật chất lán tinh thần và luôn động viên tôi lúc khó khăn.

Đặc biệt, lôi xin bày tó lỏng biết ơn sâu sac lời thay Huỳnh Thế Phùng, ngươi trực tiẽp hướng Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật toán SVM. dần tôi từ dãu châm câu den tông thế, giúp tôi có một góc nhìn đúng đắn về khoa học và làm khoa học. Tôi cùng xin chân thành cám ơn gia đinh thầy dã luôn hò trọ’ về mọi mặt đe tôi có diều kiện tôt nhất làm việc với thây.

T.àm luận án nãy lã cá một cuộc hãnh trình dài vơi rấl nhiều cung bậc earn xúc, quá ninh này khiên tôi trở nên khiêm nhường, biết ơn nhũng gì mình dang có và Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật toán SVM. nhừng ngươi mình dà gặp. Dành c ho những di biết đến đề lài này và (Tà lừng dộng viên cho tôi. xin câm ơn!

TÁC GTÁ LUẬN ÁN

Nghiên cứu sinh

Nguyên Thẽ Cương

MỤC LỤC

Lời cam đoan

Lời cảm ơn

Danh mục các ký hiệu

Danh mục bàng biếu

Danh mục hình vẽ

Mở đãu

Chương 1. Cơ sở toán học cùa SVM Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật toán SVM. 7

• 1.1  Hàm toàn phương

• 1.2  Bài toán quy hoạch toàn phương (QP)

• 1.3  Điều kiện tối ưu của bài toán QP

• 1.4  Bài toán đối ngầu

• 1.5  Bài toán phân lớp dừ liệu

• 1.6  Hàm phân lớp tuyên tính

• 1.7  Siêu phăng lè mèm

• 1.8  Hàm phân lớp phi tuyến

• 1.9  Hàm phân lớp có trọng số

• 1.10 Tiếu kết chương

Chương 2. Các biến thẽ của SVM

Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật toán SVM.

• 2.1  SVM xấp xì (PSVM)

• 2.2  PSVM thông qua các trị riêng suy rộng (GEPSVM)

• 2.3  SVM song sinh (TSVM)

• 2.3.1   Trường hợp tuyến tính

• 2.3.2  Trường hợp phi tuyến

• 2.4  TSVM dùng bình phương tối thiếu (LSTSVM)

• 2.5  SVM song sinh có cấu trúc (S-TSVM)

• 2.6  Tiếu kết chương

Chương 3. Phương pháp lởp đôi cụm

• 3.1  SVM có cấu trúc có Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật

toán SVM. trọng số (WS-SVM)…….

• 3.1.1   Trường hợp tuyến tính

• 3.1.2  Trường hợp phi tuyến

• 3.1.3  Thực nghiệm

• 3.1.3.1 ………………………………………………………………………………………

Tập dừ liệu già 2 chiều

• 3.1.3.2 ………………………………………………………………………………………

Các tập dừ liệu cùa UCI

• 3.2  Cải tiền SVM dùng bình phương tõi thiểu (ILS-SVM)

• 3.2.1              Trường hợp tuyến tính

• 3.2.2  Trường hợp phi tuyến

• 3.2.3  Thực nghiệm

• 3.2.3.1 Tập dữ liệu già 2 chiều Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật toán SVM. 63

• 3.2.3.2 Các tập dữ liệu ƯCI

• 3.3  Tiếu kết chương

Chương 4. Phương pháp cụm đôi lởp

• 4.1  Biến đõi của S-TSVM

• 4.2  SVM dùng bình phương tối thiếu có trọng số (WLS-SVM)

• 4.2.1   Trường hợp tuyến tính

• 4.2.2  Trường hợp phi tuyến

• 4.3  Thực nghiệm

• 4.3.1   Tập dữ liệu giả 2 chiều

• 4.3.2   Các tập dữ liệu UCI

• 4.4  Tiếu kết chương Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật toán SVM. 87

Kết luận

Danh mục các công trinh khoa học cùa tác già liên quan đến luận án 90

Tài liệu tham khảo

Phụ lục

0