Microsoft와 Bath U의 SpectFormer는 빈도와 주의를 통해 비전 변환기를 대폭 개선합니다.

새로운 논문 SpectFormer: Frequency and Attention Is What You Need in a Vision Transformer에서 Microsoft와 University of Bath의 연구팀은 스펙트럼 및 다중 헤드 Attention 레이어를 결합하여 적절한 기능 표현을 더 잘 캡처하는 새로운 변환기 아키텍처인 Spectformer를 제안했습니다. 성능을 향상시킵니다.

변환기 아키텍처 기반 대규모 언어 모델의 획기적인 성능에 이어 ViT(비전 변환기)가 이미지 처리에 대한 강력한 접근 방식으로 등장했습니다. 텍스트 기반 이전 버전과 마찬가지로 ViT는 처음에는 다중 헤드 self-attention 레이어를 사용하여 입력 이미지에서 특징을 캡처한 반면, 최신 접근 방식에서는 스펙트럼 레이어를 사용하여 주파수 영역에서 이미지 패치를 나타냅니다. ViT가 두 가지 방법을 모두 통합하는 아키텍처의 이점을 누릴 수 있습니까?

새로운 논문 SpectFormer: Frequency and Attention Is What You Need in a Vision Transformer에서 Microsoft와 University of Bath의 연구팀은 스펙트럼 및 다중 헤드 Attention 레이어를 결합하여 적절한 기능 표현을 더 잘 캡처하는 새로운 변환기 아키텍처인 SpectFormer를 제안했습니다. ViT 성능을 향상시킵니다.

팀은 주요 기여를 다음과 같이 요약합니다.

팀은 먼저 배타적 주의 또는 스펙트럼 모델과 비교하여 스펙트럼 및 다중 헤드 주의 레이어의 다양한 조합이 어떻게 수행되는지 탐구하고, 제안된 SpectFormer에 푸리에 변환으로 구현된 초기 스펙트럼 레이어와 다중 헤드 주의 레이어를 장착하면 가장 유망한 결과를 얻을 수 있다는 결론을 내렸습니다. .

SpectFormer 아키텍처에는 패치 임베딩 레이어, 위치 임베딩 레이어, 일련의 스펙트럼 레이어와 주의 레이어로 구성된 변환기 블록, 분류 헤드라는 네 가지 주요 구성 요소가 있습니다. SpectFormer 파이프라인은 먼저 이미지 토큰을 푸리에 영역(스펙트럼 공간)으로 변환합니다. 여기서 이미지 정보의 주파수 기반 분석이 수행되고 관련 기능이 캡처됩니다. 그런 다음 학습 가능한 가중치 매개변수를 통해 게이팅 기술을 적용합니다. 마지막으로 역푸리에 변환을 수행하여 스펙트럼 공간의 신호를 물리적 공간으로 반환합니다.

실증적 연구에서 팀은 다양한 객체 감지 및 이미지 분류 작업에 대해 SpectFormer를 다중 헤드 self-attention 기반 DeIT, 병렬 아키텍처 LiT 및 스펙트럼 기반 GFNet ViT와 비교했습니다. SpectFormer는 실험의 모든 기준을 개선하여 ImageNet-1K 데이터세트에서 최첨단 상위 1개 정확도(85.7%)를 달성했습니다.

코드 및 추가 정보는 프로젝트 웹페이지에서 확인할 수 있습니다. Spectformer 논문: Vision Transformer에 필요한 것은 주파수와 주의입니다. arXiv에 있습니다.

작가: 헤카테 그 |편집자: 마이클 사라젠

우리는 귀하가 어떤 뉴스나 획기적인 연구 결과도 놓치고 싶지 않다는 것을 알고 있습니다.주간 AI 업데이트를 받으려면 인기 뉴스레터인 Synced Global AI Weekly를 구독하세요.

기계 지능 | 기술 및 산업 | 정보 및 분석

놀라운 게시물훌륭한 기사입니다! 제안된 SpectFormer 아키텍처는 매우 유망해 보입니다. 성능 및 계산 효율성 측면에서 Swin Transformer 및 ViT-L과 같은 다른 최첨단 모델과 어떻게 비교되는지 궁금합니다. SpectFormer가 비전 트랜스포머의 새로운 벤치마크가 될 잠재력이 있다고 생각하시나요?Johnhttps://www.airiches.online/

나는 읽기가 얼마나 간단한 지 정말 좋아합니다. 새 글이 올라올 때마다 알림을 받는 방법을 알고 싶습니다.

귀하의 이메일 주소는 공개되지 않습니다. 필요 입력 사항은 표시되어 있습니다 *

논평 *

이름

이메일

웹사이트

후속 댓글을 이메일로 알려주세요.

새 게시물을 이메일로 알려주세요.

디