Fast.ai, một tổ chức cung cấp các khóa đào tạo miễn phí về học sâu, có phát ngôn một kỷ lục mới về tốc độ để đào tạo và huấn luyện một cơ sở tài liệu Bức Ảnh phổ biến bằng phương pháp sử dụng GPU NVidia chạy trên căn cơ cơ sở hạ tầng public cloud.

Một cặp đôi nhà phân tích đã huấn luyện và đào tạo cơ sở tài liệu ImageNet với độ đúng chuẩn mực 93% trong 18 phút sử dụng 16 cloud instance của Amazon Web Services, mỗi instance có tám GPU Nvidia Tesla V100 Tensor Core. Chạy các thư viện Fast.ai và Pytorch, các nhà phân tích công bố tăng 40% về vận tốc và độ đúng chuẩn cho sự đào tạo và huấn luyện ImageNet trên căn nguyên hạ tầng public cloud. Kỷ lục trước đó được giữ bởi Google trên cụm Tensor Processing Unit Pod.

“Cách tiếp cận của chúng tôi sử dụng cùng một con số đơn vị chức năng xử lý như với Google benchmark (128) và Chi phí khoảng 40 USD để chạy”, Fast.ai tiết lộ. Các nhà nghiên cứu và phân tích cho biết họ sẽ ban hành ứng dụng của mình để huấn luyện và giám sát và đo lường các mô hình phân tán chạy trên đám mây AWS.

>>> Xem thêm: CSE-813MTQ-600CB

Nhóm các nhà nghiên cứu và phân tích bao gồm 1 cựu thành viên Fast.ai và một Chuyên Viên học sâu ở Defense Innovation Unit Experimental – DIUx, một startup của Lầu Năm Góc giúp đem các công nghệ tiên tiến đã thương mại hóa vào phục vụ cho quân đội.

Fast.ai đã cách tân và phát triển một tổ hợp các công cụ để crop các Tấm hình trong cơ sở tài liệu, trong những khi DIUx cung ứng một framework được gọi là nexus-scheduler được sử dụng để bố trí các quy trình đào tạo và huấn luyện & theo dõi công dụng. Framework đã được tinh chỉnh và điều khiển rất có thể thực thi song song cùng lúc nhiều máy.

Các nhà phân tích cho thấy họ rất chăm sóc tới một báo cáo gần đây rằng AWS đã rất có thể giảm thời gian huấn luyện và đào tạo trên cơ sở tài liệu Bức Ảnh xuống còn 47 phút với độ đúng chuẩn tương đồng.

Các cố gắng của Fast.ai sử dụng những gì họ gọi là 1 trong những “thủ thuật đào tạo và giảng dạy mới”.

“Rất nhiều bạn nhầm tưởng rằng mạng nơ-ron xoắn ốc chỉ hoàn toàn có thể thao tác làm việc với một kích thước Hình ảnh thắt chặt và cố định, và đó phải là hình chữ nhật”, Jeremy Howard của Fast.ai lý giải trong một bài đăng trên blog. &Ldquo;Tuy nhiên, số đông các thư viện đều hỗ trợ các lớp tổng hợp ‘thích ứng’ hoặc‘ thế giới ’, điều đó trọn vẹn tránh được giới hạn này”.

Howard tiếp tục: “… trừ khi người tiêu dùng của những thư viện này sửa chữa các lớp đó, chúng bị ràng buộc chỉ còn một size và hình dạng (thường là 224 x 224 pixel). Thư viện Fast.ai tự động biến hóa các mô hình kích thước cố định và thắt chặt thành các mô hình có kích thước động. &Rdquo;

>>> Xem thêm: CSE-825TQ-R720LPB

Các nhà nghiên cứu và phân tích cho thấy việc giảng dạy bước đầu với những Bức Ảnh nhỏ dần được tăng kích thước khi huấn luyện và đào tạo cách tân và phát triển. Các loại hình ban sơ, không đúng chuẩn mực đã nhanh chóng được dạy để xác định các Hình ảnh to hơn và to hơn đồng thời bắt gặp thêm chi tiết cụ thể và phân biệt Hình ảnh. Để bức tốc giảng dạy, họ cũng sử dụng size lô to hơn trong những bước đào tạo và huấn luyện trung gian để sử dụng bộ lưu trữ GPU tốt hơn để tránh độ trễ do network.

trong các các bài học kinh nghiệm rút ra từ các thí nghiệm của Fast.ai là cam kết ràng buộc rằng các nhà nghiên cứu và phân tích học tập sâu không nhất thiết yên cầu sức khỏe giải quyết lớn để tăng tốc đào tạo và giảng dạy. Các nhà nghiên cứu nhận định rằng sự kết hợp của các kỹ thuật huấn luyện mới tựa như các mô hình có form size động cùng với việc truy cập đám mây nơi công cộng – public cloud – tới cơ sở hạ tầng GPU theo yêu cầu rất có thể giúp dễ dàng và đơn giản hóa việc học sâu và các nghĩa vụ cải tiến và phát triển AI khác.

“Chắc chắn có tương đối nhiều dư địa để bức tốc nhanh hơn”, Howard ở Fast.ai nói.

>>> Xem thêm: CSE-822T-400LPB