Transfer Learning: A Comprehensive sầu Review

Tiếp tục loạt bài bác về Deep Learning, phần này mình sẽ giới thiêu cơ phiên bản cùng cụ thể về nghệ thuật transfer learning (TL). Bài viết này nhằm mục đích hỗ trợ kỹ năng cơ phiên bản về TF (có mang, vận dụng, tầm nhìn tổng quan liêu - big picture), sử dụng TF lúc nào cùng thế nào để công dụng, các vấn đề/thử thách của TF, những kỹ thuật TF tiên tiến.

Bạn đang xem: Transfer learning là gì

Trong bài viết này những các bạn sẽ thấy Transfer Learning nó không chỉ là dễ dàng là tái thực hiện lại các cực hiếm weights đã được học tập từ tập tài liệu phệ nhỏng ImageNet, rồi đưa quý phái tập dữ liệu nhỏ dại mang lại vụ việc của bạn bằng vấn đề train lại một vài layer đầu/cuối. Mà transfer learning rộng lớn rộng, đa dạng mẫu mã rộng, với rất nhiều cách, cách thức nghệ thuật transfer learning khác.

I. Giới thiệu

1.1. Định nghĩa Transfer Learning

Transfer learning là bài toán áp dụng kỹ năng/trí thức bản thân học được từ bỏ vụ việc này (source domain name - D_S ), với vận dụng này (source task - T_S) sang trọng vấn đề không giống (target tên miền - D_T) với ứng dụng không giống (target task - T_T) gồm liên quan. Transfer learning nhằm mục tiêu nâng cấp việc học hàm f_T(cdot) mang lại vận dụng T_T trên miền D_T .

*

1*ZEJeJS06czdyPwov5EbCuQ.png1198×204 9.85 KB

Transfer chiếc gì: phần làm sao của học thức sẽ học tập rất có thể transfer? Vì một số trong những học thức gồm tính đặc thù riêng biệt của trách nhiệm, và tất cả những trí thức phổ biến giữa những trách nhiệm khác biệt. Về cơ phiên bản, tri thức tầm thường là có thể transfer được.Transfer lúc nào: ngôi trường hợp như thế nào (không) đề nghị transfer. Transfer learning có thể sẽ không còn mang về công dụng giả dụ nhị trách nhiệm không tồn tại côn trùng sự liên hệ, đối sánh tương quan (còn được nghe biết là negative sầu transfer)Transfer như thế nào: Cách thức triển khai transfer thế nào đến hiệu quả.B. Phân một số loại theo domains

*

2.1. Tại sao nên sử dụng transfer learning vào deep learning

*

Pre-trained model

Việc áp dụng những pre-train Mã Sản Phẩm không chỉ có dừng lại ngơi nghỉ việc freezinng cùng fine-tuning những layer nhỏng bên trên. Mà rất có thể ghnghiền nối các network lại cùng nhau cùng freeze, fine-tune tương xứng. Việc thực hiện pre-trained Mã Sản Phẩm đóng góp thêm phần làm cho giảm đáng kể thời hạn training và tăng unique dự đoán.

lấy ví dụ như bạn có nhu cầu thực hiện xóa nhiễu (image denoising) cùng tăng độ sắc nét (image super-resolution), thì rất có thể tận dụng nhì network DenoiseNet và SRNet. lấy một ví dụ input đầu vào của SRNet là output của DenoiseNet và thực hiện train tuần trường đoản cú hoặc train cùng lúc cả nhị mạng. Giống như thứ hạng Network trong network, hay train mạng tạo thành sinh GAN ấy.

Hoặc chúng ta có thể phối kết hợp giữa warm re-start và pre-trained mã sản phẩm nlỗi, Net1 cần sử dụng VGG19 fine-tune 2 layer sau cùng. Net2 sử dụng VGG19 làm warm start, cùng train cả 2 thằng cùng lúc. Với việc fusion (sớm hoặc muộn) features của 2 network với chọn có tác dụng features cho câu hỏi dựa đoán.

Nếu các bạn làm về GAN, khôi phục ảnh, super-resolution đang được hiểu bài toán Pre-trained VGG net được áp dụng làm perceptual loss - một hàm loss khôn xiết nổi tiếng. Thay bởi vì tính hàm loss theo mean square error (MSE - xuất xắc L2 norm), structure similarity (SSIM) của tài liệu nơi bắt đầu x với dữ liệu dự đoán hatx thì perceptual loss này đối chiếu sự biệt lập về MSE giứa các intermediate feature của mạng VGG(x) với VGG(hatx) <13>

Transfer on Metadata (hyper parameters)

Nhỏng một vài bài bác báo gần đây về các chuyên môn AutoML, Auto Augmentation, không chỉ có các weights cơ mà cả những policgiống như adaptive learning rate, adaptive sầu augmentation trọn vẹn có thể transfer được. Điển hình là policy mang đến câu hỏi adaptive augmentation được học tập từ dữ liệu bé dại CIFAR10 với ứng dụng đến CIFAR100 ở AutoAugment <9>

Transfer learning via generalization

Học biện pháp bao hàm hóa dữ liệu tốt hơn trải qua tiến độ pre-train. Điển hình là phương thức Selfie mà lại mình đánh giá <7>.

Học biện pháp màn trình diễn data làm việc dạng unsupervised, trường đoản cú đó cũng đạt tính bao hàm hóa giỏi hơn như sinh sống <8>

III. Ứng dụng transfer learning

3.1. Domain Adaptation

Nlỗi đang đề cập nghỉ ngơi bên trên, supervised deep learning đề nghị không hề ít tài liệu bao gồm nhãn để gia công câu hỏi kết quả. Và bắt buộc những dữ liệu ở đây không những là sinh hoạt con số mà lại còn là một unique nhãn nhỏng độ tin tưởng (tài liệu có thể dính kèm nhầm nhãn), tính đa dạng chủng loại (đủ những nhãn, con số chủng loại bên trên một nhãn), .v.v. Các vận dụng thịnh hành nhỏng “nhận diện”, “phân loại”, thông thường có những tập dữ liệu bự, phổ biến, được tích lũy, dán nhãn vị các tổ chức triển khai, cuộc thi như thế nào đó điển hình nlỗi IMAGENET, COCO, PASCAL VOC, CELEBA, .v.v.

Xem thêm: Giao Tiếp I2C Là Gì - Giao Tiếp I2C — Tài Liệu Esp32 1

Data bias. Sử dụng các dataphối sẵn tất cả - OK, không tồn tại vụ việc gì cả, nhưng mà hay các dữ liệu kia ko được tích lũy theo phía giải quyết và xử lý vụ việc riêng rẽ của người sử dụng. Vấn đề này dẫn đến vấn đề bias về dữ liệu. lấy ví dụ như nhỏng, ứng dụng nhận diện khuôn mặt sinh sống cả nước thì tập tài liệu không giống về phân bố, con số class, với số mẫu từng class. Trong Lúc dữ liệu CelebA rất có thể bị bias cho tất cả những người da White, dữ liệu của khách hàng lại bias đến đối tượng người dùng tín đồ toàn nước.

Domain Shift - Đời không phải như là mơ. <15> Dù mang lại tài liệu bạn lấy chi tiết ra sao, domain authority dạng tới cỡ như thế nào thì luôn luôn luôn bao gồm sự biệt lập thân duy trì liệu bạn bao gồm và dữ liệu thực sự dùng khi triển khai. Ví dụ chúng ta rước dữ liệu train từ bỏ CelebA, tập này ảnh hoàn toàn có thể bị tiền xử lý, thanh lọc màu những vật dụng, nhưng lại thực tế bạn cần triển khai với nguồn vào từ Camera aninc cùng với quality không giống một ttách một vực. Chưa nhắc màn hình hoàn toàn có thể đổi khác, điều kiện sáng sủa, vân vân với mây mây.

Làm ráng như thế nào để quy mô của bạn có thể giải quyết những vụ việc này tốt hơn? Welcome to Domain Adaptation

Domain adaptation là 1 trong những mảng trong transfer learning lúc phân bổ (probability distribution) của tài liệu gốc (source domain) khác (dẫu vậy tất cả liên hệ) với miền tài liệu đề xuất transfer (target domain) <14>. Ví dụ điển hình của domain adaptation là vận dụng bộ thanh lọc spam (Spam filtering problem). Mô hình thanh lọc spam được học từ user này (source distribution) sang một user khác tất cả sự khác hoàn toàn đáng chú ý về tin nhắn nhận. Domain adaptation cũng rất được dùng làm học những mối cung cấp dữ liệu không tồn tại mối tương tác thẳng. Hình như, domain name adaptivation với nghiên mối cung cấp dữ liệu không giống nhau nói một cách khác là multiple-source tên miền adaptation.

Phương thức Adaptation <14>

Reweighting. Dùng những trọng số để các mẫu mối cung cấp tất cả phân bố y hệt như mẫu mã đích. lấy một ví dụ dữ liệu của người tiêu dùng cho người Á Lục, thì gửi trọng số cho các class bạn Á Lục vào bộ dataset CelebA cao hơn nữa.Auto-labeling. Dùng network gồm sẵn để gán nhãn tự động hóa cho mẫu mã của bản thân. Giả sử ta tất cả mạng Net1, train đến dữ liệu dìm dạng A với con số class không giống dữ liệu B (-tài liệu chúng ta nên làm). Dùng output layer sát cuối của Net1 trên dữ liệu B --> mang lại ta những feature vectors. Dùng thuật toán thù clustering (phân các loại cụm) nhằm nhóm thành những đội - nhãn cơ mà chúng ta quan tâm.Comtháng representation space. Tìm miền màn biểu diễn thông thường thân nhì domain name làm thế nào để cho source domain vẫn đang còn công dụng giỏi. Adversarial ML là 1 người tìm việc sáng giá chỉ.Hierarchical Bayesian Model. Cái này bản thân không rõ lắm, chúng ta quyên tâm trường đoản cú tham khảo thêm nhé :3

3.2 Domain Confusion <1, 16>

Vì intermediate feature ngơi nghỉ từng layer với những công bố khác nhau (output của layer đầu thường mang báo cáo cạnh, texture, trong những lúc output của layer cuối mang đọc tin tổng quát hóa về bài toán .v.v.) dẫn đến ta trọn vẹn rất có thể tận dụng features sinh hoạt các layer khác nhau (Không tuyệt nhất thiết phải là sống layer ngay sát cuối). lấy ví dụ như điển hình là hàm suy hao Perceptual loss bản thân nhắc ở chỗ 2.2.

Việc tận dụng tối đa các intermediate feature này rất có thể giúp học các features có thể cần sử dụng mang lại các tên miền khác nhau (domain-invariant). Ý tưởng cơ bạn dạng là thêm các hàm los nhằm quy mô nơi bắt đầu học những tính năng bình thường thân các tên miền khác nhau nhiều hơn thế nữa <16>. Điển hình là người sáng tác <16> thêm một adaptation layer cùng hàm suy hao domain name confusion loss.

Comtháng representation space sống 3.1 cùng mulit-task learning cũng đến tác dụng tương tự như.

Xem thêm: Đánh Giá Sharp 404Sh Tinhte, Trên Tay Sharp Aquos Xx 404Sh: Máy Cũ, Viền Mỏng

3.3 ‘X’-Short Learning

Mặc dù nhiều lần được lăng xê là công nghệ tiên tiến và phát triển vào trí tuệ tự tạo, DL thực ra không có “thông minh” mang đến lắm. Bởi lẽ lúc đứa nhỏ bé lớp 1 chú ý một vài lần là biết “trái táo” là “quả táo” chứ chưa hẳn trái “nho” thì deep learning yêu cầu cả mớ dữ liệu nhằm dìm dạng được nó. Nếu bắt chiếc được nhỏng em bé nhỏ, thì DL đã sử dụng được nhiều rộng ngơi nghỉ các ứng dụng thực tiễn.


Chuyên mục: ĐỊNH NGHĨA
Bài viết liên quan

Trả lời

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *