Khả năng của các mô hình AI được đào tạo trước quy mô lớn gần đây đã tăng vọt, như được thể hiện bằng các mô hình ngôn ngữ tầm nhìn quy mô lớn như clip hoặc chatgpt Những mô hình tổng quát điển hình này có thể thực hiện hợp lý tốt trong các nhiệm vụ bao gồm tỷ lệ kèo nhà cái net loạt các lĩnh vực, đã mở đường cho công chúng được áp dụng chiều rộng của họ Tuy nhiên, tính linh hoạt như vậy không còn nghi ngờ gì nữa

Đào tạo và vận hành các mô hình quy mô lớn tiêu thụ tỷ lệ kèo nhà cái net lượng năng lượng và thời gian cực đoan, đi ngược lại các mục tiêu bền vững và giới hạn các loại máy tính mà chúng có thể được triển khai Hơn nữa, trong nhiều ứng dụng thực tế, mọi người muốn các mô hình AI hoàn thành các vai trò cụ thể thay vì là những trò chơi của tất cả các giao dịch Trong những trường hợp như vậy, các khả năng tổng quát của tỷ lệ kèo nhà cái net mô hình có thể hữu ích và thậm chí phản tác dụng, giảm độ chính xác Có thể có tỷ lệ kèo nhà cái net cách để tận dụng các mô hình được đào tạo trước quy mô lớn hiệu quả hơn bằng cách để chúng 'quên' thông tin & nhiệm vụ không cần thiết;

Trong tỷ lệ kèo nhà cái net bài báo gần đây sẽ được trình bày trongHệ thống xử lý thông tin thần kinh (Neurips 2024),tỷ lệ kèo nhà cái net nhóm nghiên cứu do Phó giáo sư Go Irie từ Đại học Khoa học Tokyo (TUS), Nhật Bản dẫn đầu để giải quyết vấn đề này Họ đã phát triển tỷ lệ kèo nhà cái net phương pháp được đặt tên là "Quên hộp đen", theo đó người ta có thể tối ưu hóa các lời nhắc văn bản được trình bày cho mô hình phân loại ngôn ngữ thị giác hộp đen để có tỷ lệ kèo nhà cái net cách chọn lọc 'quên' tỷ lệ kèo nhà cái net số lớp mà nó có thể nhận ra Đồng tác giả của nghiên cứu này bao gồm ông Yusuke Kuwana và ông Yuta Goto, cả hai đều đến từ TUS, cũng như Tiến sĩ Takashi Shibata từ NEC Corporation

2485_2807Giải thích Tiến sĩ Irie,"Giữ lại các lớp không cần được công nhận có thể làm giảm độ chính xác phân loại tổng thể, cũng như gây ra thảm họa hoạt động như lãng phí tài nguyên tính toán và nguy cơ rò rỉ thông tin"

Mặc dù tỷ lệ kèo nhà cái net số phương pháp để quên chọn lọc trong các mô hình được đào tạo trước tồn tại, nhưng các cài đặt hộp trắng này, trong đó người dùng có quyền truy cập vào các tham số và kiến trúc bên trong của mô hình Thường xuyên hơn không, người dùng đối phó với hộp đen; Họ không có quyền truy cập vào chính mô hình hoặc hầu hết thông tin của nó vì lý do thương mại hoặc đạo đức Rằng, các nhà nghiên cứu đã phải sử dụng tỷ lệ kèo nhà cái net chiến lược tối ưu hóa không có đạo hàm-tỷ lệ kèo nhà cái net không yêu cầu truy cập vào độ dốc của mô hình

Đến cuối cùng, họ đã mở rộng tỷ lệ kèo nhà cái net phương thức được gọi là CMA-ES, với clip mô hình phân loại hình ảnh làm mô hình đích cho nghiên cứu này Thuật toán tiến hóa này liên quan đến việc lấy mẫu các lời nhắc ứng cử viên khác nhau để cung cấp cho mô hình và đánh giá kết quả thông qua các hàm khách quan được xác định trước, cập nhật phân phối đa biến dựa trên các giá trị được tính toán

Tuy nhiên, hiệu suất của các kỹ thuật tối ưu hóa không phái sinh xác định nhanh chóng cho các vấn đề quy mô lớn Khi nhiều lớp cần bị lãng quên, 'bối cảnh tiềm ẩn' được sử dụng để tối ưu hóa các lời nhắc đầu vào tăng lên đến kích thước không thể quản lý được Để giải quyết vấn đề này, nhóm nghiên cứu đã đưa ra tỷ lệ kèo nhà cái net nhà cái net kỹ thuật tham số mới gọi là 'chia sẻ bối cảnh tiềm ẩn' Cách tiếp cận này liên quan đến việc phân tách bối cảnh tiềm ẩn xuất phát từ các lời nhắc vào các yếu tố nhỏ hơn khác nhau, được coi là 'duy nhất' với mã thông báo nhắc hoặc 'chia sẻ' giữa nhiều mã thông báo Bằng cách tối ưu hóa AIM để tối ưu hóa cho các đơn vị nhỏ hơn này thay vì các khối lớn của bối cảnh tiềm ẩn, tính kích thước của vấn đề có thể giảm đi rất nhiều, khiến nó trở nên dễ dàng hơn nhiều

Các nhà nghiên cứu đã xác nhận cách tiếp cận của họ bằng cách sử dụng tỷ lệ kèo nhà cái net số bộ dữ liệu phân loại hình ảnh điểm chuẩn, cố gắng đưa clip đến 'quên' 40 & percnt; của các lớp trong tỷ lệ kèo nhà cái net bộ dữ liệu nhất định Điều này đánh dấu nghiên cứu đầu tiên trong đó mục tiêu là có mô hình ngôn ngữ tầm nhìn được đào tạo trước không nhận ra các lớp cụ thể trong các điều kiện hộp đen và, dựa trên các đường cơ sở hiệu suất hợp lý, kết quả rất hứa hẹn

Phương pháp sáng tạo này có ý nghĩa quan trọng trong lĩnh vực trí tuệ nhân tạo và học máy Nó có thể giúp các mô hình quy mô lớn hoạt động tốt hơn trong các nhiệm vụ chuyên ngành, mở rộng khả năng ứng dụng đã đáng kinh ngạc của chúng Ví dụ, tỷ lệ kèo nhà cái net cách sử dụng khác sẽ là ngăn chặn các mô hình tạo hình ảnh tạo ra nội dung không thể tin được bằng cách chúng quên các bối cảnh trực quan cụ thể

Ngoài ra, phương pháp được đề xuất có thể giúp giải quyết các vấn đề về quyền riêng tư, đây là tỷ lệ kèo nhà cái net mối quan tâm ngày càng tăng trong lĩnh vực này5678_5951nói Tiến sĩ Irie,"Quên chọn lọc, hoặc được gọi là máy học không học, có thể cung cấp tỷ lệ kèo nhà cái net giải pháp hiệu quả cho vấn đề này"Nói cách khác, nó có thể giúp phát triển các giải pháp để bảo vệ cái gọi là "quyền bị lãng quên", đây là tỷ lệ kèo nhà cái net chủ đề đặc biệt nhạy cảm trong chăm sóc sức khỏe và tài chính

Cách tiếp cận đột phá này không chỉ trao quyền cho các mô hình AI quy mô lớn mà còn bảo vệ người dùng cuối, mở đường cho sự tích hợp liền mạch của AI vào cuộc sống hàng ngày của chúng tôi & exc

Tiêu đề hình ảnh:Tổng quan về việc quên hộp đen
Chú thích hình ảnh:Quên chọn lọc nhằm mục đích giảm độ chính xác phân loại cho các lớp bị lãng quên trong khi duy trì độ chính xác cho các lớp được ghi nhớ Phương pháp được đề xuất, nhắm mục tiêu clip mô hình phân loại hình ảnh, đạt được sự quên chọn lọc bằng cách tối ưu hóa dấu nhắc văn bản đầu vào, vì chính mô hình là 'hộp đen'
Tín dụng hình ảnh:Đi Irie từ Đại học Khoa học Tokyo
loại giấy phép:Nội dung gốc
Hạn chế sử dụng:tín dụng phải được trao cho người tạo

Tiêu đề hình ảnh:Chia sẻ bối cảnh tiềm ẩn: Tối ưu hóa hiệu quả bằng cách giảm kích thước bối cảnh
Chú thích hình ảnh:7829_8528
Tín dụng hình ảnh:Đi Irie từ Đại học Khoa học Tokyo
Loại giấy phép:Nội dung gốc
Hạn chế sử dụng:tín dụng phải được trao cho người tạo

Về Đại học Khoa học Tokyo

tỷ lệ kèo góc nhà cái Đại học Khoa học(TUS) là tỷ lệ kèo nhà cái net trường đại học nổi tiếng và được kính trọng, và là trường đại học nghiên cứu tư nhân chuyên khoa khoa học lớn nhất ở Nhật Bản, với bốn cơ sở ở trung tâm Tokyo và vùng ngoại ô của nó và ở Hokkaido Được thành lập vào năm 1881, trường đại học đã liên tục đóng góp cho sự phát triển của Nhật Bản trong khoa học thông qua việc khắc sâu tình yêu đối với khoa học trong các nhà nghiên cứu, kỹ thuật viên và nhà giáo dục

Với sứ mệnh "tạo ra khoa học và công nghệ cho sự phát triển hài hòa của thiên nhiên, con người và xã hội", TUS đã thực hiện tỷ lệ kèo nhà cái net loạt các nghiên cứu từ khoa học cơ bản đến khoa học ứng dụng TUS đã chấp nhận tỷ lệ kèo nhà cái net cách tiếp cận đa ngành để nghiên cứu và thực hiện nghiên cứu chuyên sâu trong tỷ lệ kèo nhà cái net số lĩnh vực quan trọng nhất hiện nay TUS là tỷ lệ kèo nhà cái net công đức nơi tốt nhất trong khoa học được công nhận và chăm sóc Đây là trường đại học tư duy nhất ở Nhật Bản đã sản xuất tỷ lệ kèo nhà cái net người chiến thắng giải thưởng Nobel và là trường đại học tư duy nhất ở châu Á sản xuất những người chiến thắng giải thưởng Nobel trong lĩnh vực Khoa học Tự nhiên