Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật toán SVM.

DẠI HỌC HUẾ TRƯỜNG DẠI HỌC KHOA HỌC

NGUYF.N THF CƯỜNG

NÂNG CAO HIỆU NĂNG PHÂN LỚP DỮ LIỆU TRÊN Cơ SỞ CẢI TIỄN THUẬT TOÁN SVM

LUẬN ÁN TIỄN SĨ KHOA HỌC MÁY TÍNH

ĐẠI HỌC HUẼ TRƯỜNG ĐẠI HỌC KHOA HỌC

NGUYỄN THẼ CƯỜNG

NÂNG CAO HIỆU NĂNG PHÂN LỚP DỮ LIỆU TRÊN Cơ SỞ CÀI TIỄN THUẬT TOÁN SVM

NGÀNH: KHOA HỌC MÁY TÍNH MÃ SÕ: 9.48.01.01

Người hướng dẫn khoa học:

PGS.TS. Huỳnh Thê Phùng

LỜI CAM ĐOAN

Tôi xin cam đoan đề tài: "Nâng cao hiện nđng phân lóp dữ liệu trớn cơ sở cải tiến thuật toán SVM " là một công trình nghiên Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật toán SVM. cứu của riêng tôi, dưới sự hướng dàn cùa PGS.TS. Huỳnh Thế Phùng. Các số liệu sử dụng trong luận án là trung thực. Các thuật toán được đẽ xuất là hoàn toàn mới, các kết quà thực nghiệm được thực hiện trên nhũng bộ dữ liệu khách quan. Nhùng kẽt quà của luận án chi được công bô trong các công trình liên quan đến luận án.

Nghiên cún sinh

Nguyền Thế cường

LỜI CẢM ƠN

T.uận án nãy Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật toán SVM. sè không Ihế (rờ (hãnh hiện thực nếu không có sự úng hộ vã giúp đờ cá về Iri thức lân linh thăn cúd rấl nhiêu người quan trọng trong t uộc đời lôi.

lôi xin bày tò lòng biot oil sâu sâc den quý Thầy. cô khoa công nghệ ‘Hiêng tin và khoa Toán trường Đại học Khoa học, Đại học Huế, (rương Đại học: Sư phạm, Đại học Hue, những người dã dạy tôi không chì kiên thức mà còn là thái Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật toán SVM. dộ sông từ kill tôi tời Huế, đến bây giờ và mai sau nừa.

Xin chân thành càm oil phòng dào tạo sau Dại học trường Dại học Khoa học. Dại học Huế đã hướng (lân tận tinh thú tục cần thiết đế tôi hoàn thành hồ sơ Khoa học.

Xin cám oil thành phố Huế, một nơi đặc biệt đối với tôi trên hành trình học làm người. Xin càm ơn tãt cà các anh, em và bạn bè sõng tại Huế.

Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật toán S VM. Xin cám ơn khoa Cơ bán trường Sĩ quan Thông tin đà tạo điều kiện vê mặt thời gian đế tôi hoàn thành quá trình học tập và nghiên cứu.

Nhân dịp này, tôi xin chân thành cám ơn tât cà mọi người trong gia đình tôi, đã luôn ủng hộ cả về vật chất lân tinh thần và luôn động viên tôi lúc khó khăn.

Đặc biệt, lôi xin bày tó lòng biết ơn sâu sac tời thầy Huỳnh Thế Phùng, người trực tiẽp hướng dần Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật toán SVM. tôi từ dãu châm câu den tông thê, giúp tôi có một góc nhìn đúng đắn về khoa học và làm khoa học. Tôi cùng xin chân thành cám ơn gia đinh thầy dã luôn hò trợ về mọi mặt đe tôi có diều kiện tôt nhất làm việc với thây.

T.àm luận án nãy lã cá một cuộc hãnh Irình dài vơi rấl nhiều cung bậc earn xúc, quá trình này khiên tôi trở nên khiêm nhường, biết ơn những gì mình dang có và nhừng Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật toán SVM. người mình dà gặp. Dành c ho những di biết đến đề tài này và eld lừng dộng viên cho tôi. xin câm ơn!

TÁC. GĨÁ LUẬN ÁN

Nghiên c ứu sinh Nguyên Thế Cương

MỤC LỤC

Lời cam đoan

Lời cảm ơn

Danh mục các ký hiệu

Danh mục bàng biếu

Danh mục hình vẽ

Mở đầu

Chương 1. Cơ sở toán học cùa SVM

Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật toán SVM. 7

• 1.1  Hàm toàn phương

• 1.2  Bài toán quy hoạch toàn phương (QP)

• 1.3  Điêu kiện tối ưu của bài toán      QP

• 1.4  Bài toán đối ngầu

• 1.5  Bài toán phân lớp dừ liệu

• 1.6  Hàm phân lớp tuyến tính

• 1.7  Siêu phâng lề mềm

• 1.8  Hàm phân lớp phi tuyến

• 1.9  Hàm phân lớp có trọng số

• 1.10 Tiẽu kết chương

Chương 2. Các biến thẽ cùa SVM

Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật toán SVM. 22

• 2.1  SVM xấp xi (PSVM)

• 2.2  PSVM thông qua các trị riêng suy rộng (GEPSVM)

• 2.3  SVM song sinh (TSVM)

• 2.3.1  Trường hợp tuyến tính

• 2.3.2  Trường hợp phi tuyến

• 2.4  TSVM dùng bình phương tốithiếu (LSTSVM)

• 2.5  SVM song sinh có cấu trúc (S-TSVM)

• 2.6  Tiếu kết chương

Chương 3. Phương pháp lởp đôi cụm

• 3.1 SVM có cấu Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật toán SVM. trúc có trọng số                           (WS-SVM)………’

• 3.1.1 Trường hợp tuyến tính

• 3.1.2  Trường hợp phi tuyến

• 3.1.3   Thực nghiệm 50

• 3.1.3.1    Tập dữ liệu giả 2 chiều

• 3.1.3.2 ………………………………………………………………………………

Các tập dừ liệu cùa UCI

• 3.2 Cài tiến SVM dùng bình phương tối thiếu (ILS-SVM)

• 3.2.1             Trường hợp tuyến tính

• 3.2.2  Trường hợp phi tuyến

• 3.2.3  Thực nghiệm

• 3.2.3.1 Tập dữ liệu giả 2 chiều Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật toán

SVM. 63

• 3.2.3.2 Các tập dừ liệu UCI

• 3.3 Tiều kết chương

Chương 4. Phương pháp cụm dõi lớp

• 4.1  Biếnđõi cùa S-TSVM

• 4.2  SVM dùng bình phương tối thiểu có trọng số (WLS-SVM)

• 4.2.1   Trường hợp tuyến tính

• 4.2.2  Trường hợp phi tuyến

• 4.3  Thực nghiệm

• 4.3.1   Tập dừ liệu già 2 chiều

• 4.3.2   Các tập dữ liệu UCI

• 4.4  Tiếu kết chương .. Nâng cao hiệu năng phân lớp dữ liệu trên cơ sở cải tiến thuật toán SVM. 87

Kết luận

Danh mục các công trình khoa học của tác giá liên quan đến luận án 90

Tài liệu tham kháo

Phụ lục

i

0