Entendendo o Componente Neck em Redes Neurais de Detecção de Objetos

Em redes neurais de detecção de objetos, o componente 'Neck' desempenha um papel crucial no aprimoramento das características extraídas de diferentes camadas da rede 'Backbone'. Ele atua como um refinador, enriquecendo as informações antes de serem processadas pelas camadas de 'Head' para a detecção final. Este artigo explora a importância e o funcionamento do componente 'Neck'.

O que é o Componente Neck?

O componente **'Neck'

** é responsável por refinar ou enriquecer as características extraídas de diferentes estágios da rede neural 'Backbone'. Em essência, ele serve como uma ponte entre a extração de características e a detecção de objetos, garantindo que as informações relevantes sejam destacadas e aprimoradas. Este componente desempenha um papel vital na precisão e eficiência da detecção de objetos, pois melhora a qualidade dos dados alimentados para as camadas de 'Head'.

O componente Neck atua sobre feature maps provenientes de diferentes camadas da rede backbone. Os feature maps de camadas mais baixas tendem a conter mais detalhes espaciais, mas menos informações semânticas de alto nível. Já os feature maps de camadas mais altas possuem informações semânticas mais robustas, mas perdem detalhes espaciais importantes. O Neck tenta combinar o melhor dos dois mundos, enriquecendo as informações espaciais das camadas mais altas com as informações semânticas das camadas mais baixas, e vice-versa.

As redes neurais de detecção de objetos (como YOLO, SSD, e Faster R-CNN) se beneficiam enormemente da utilização de um componente Neck bem projetado. A capacidade de refinar as características em diferentes escalas permite que a rede detecte objetos de diversos tamanhos e em diferentes contextos com maior precisão.

Por que Refinar as Feature Maps?

Refinar as **feature maps

* é crucial porque diferentes estágios da rede neural capturam informações diferentes. Camadas inferiores capturam detalhes finos, enquanto camadas superiores capturam informações semânticas de alto nível. Unir esses níveis de informação pode melhorar significativamente o desempenho da rede. A rede 'Backbone' processa a imagem de entrada de forma bottom-up, extraindo características progressivamente mais complexas. Em cada estágio, as dimensões da imagem são reduzidas, mas a profundidade dos canais aumenta. Isso resulta em feature maps* com diferentes resoluções e níveis de abstração.

As camadas mais profundas da rede, próximas à saída, capturam o mais alto nível de informação semântica, e também possuem o maior campo receptivo. Isso significa que cada célula na feature map está capturando informações sobre uma porção maior da imagem original. No entanto, essa informação semântica de alto nível pode ser difícil de interpretar, sendo necessário o refinamento.

Ao refinar as feature maps, estamos essencialmente combinando o conhecimento local (detalhes espaciais) com o conhecimento global (informação semântica), permitindo que a rede Tome decisões mais informadas sobre a presença e a localização dos objetos.

Atributos Importantes das Feature Maps de Alto Nível

As **feature maps de alto nível

** possuem dois atributos cruciais:

1. Alto Nível de Informação Semântica: Capturam informações refinadas e globais sobre a imagem, representando o contexto geral.
2. Alto Campo Receptivo: Cada célula na feature map captura informações de uma grande porção da imagem original.

Enquanto as feature maps de baixo nível oferecem informações espaciais mais detalhadas, elas podem carecer do contexto semântico necessário para identificar objetos complexos. Por outro lado, as feature maps de alto nível, embora ricas em informações semânticas, podem perder detalhes finos. O componente 'Neck' é projetado para resolver essa dicotomia, fundindo essas informações complementares de forma eficaz.

Níveis de Feature Maps

É importante diferenciar os níveis de feature maps extraídas pela backbone, pois cada nível possui atributos únicos:

• **Features Maps de Baixo Nível

  :** Retêm a maior parte da informação espacial. São úteis para detectar detalhes finos e bordas dos objetos, mas podem faltar informações contextuais. A dimensão dessas feature maps é de 52x52, e são downsampled por um fator de 8.

• Features Maps de Nível Médio : Oferecem um equilíbrio entre a informação espacial e semântica. São úteis para detectar partes de objetos e padrões mais complexos. A dimensão dessas feature maps é de 26x26, e são downsampled por um fator de 16.
• Features Maps de Alto Nível : Contêm a maior parte da informação semântica. São úteis para detectar objetos completos e entender o contexto da cena, mas perdem alguns detalhes espaciais. A dimensão dessas feature maps é de 13x13, e são downsampled por um fator de 32.

Como ilustrado no vídeo, o feature map de 13x13 representa que cada célula corresponde a uma grande porção da imagem original, por conta de seu alto nível receptivo.

Implementando a Fusão de Features

Uma técnica comum para enriquecer as feature maps é a fusão de características (Feature Fusion). Esta técnica combina informações de diferentes camadas para criar representações mais robustas.

Existem várias formas de implementar a fusão de características, incluindo:

• Adição Elemento a Elemento: As feature maps correspondentes de diferentes camadas são somadas elemento a elemento.
• Concatenação: As feature maps são concatenadas ao longo da dimensão do canal.
• Operações de Convolução: Operações de convolução são usadas para combinar as feature maps de diferentes camadas.

No vídeo, o apresentador demonstra a operação de SOMA entre o HL (High Level) e ML (Mid Level). Um erro comum é tentar somar tensores de tamanhos diferentes, por isso é preciso garantir que o tamanho entre os tensores seja o mesmo.

Para evitar esse erro e ter certeza de que o modelo está combinando bem os tensores, é preciso seguir os seguintes passos:

1. Reduza o número de canais, garantindo que eles estejam consistentes em todos os feature maps
2. Aumente o tamanho da feature map das camadas mais altas usando o método de upsample com fator 2x. Uma opção de interpolação é usar o método "Nearest", que preserva melhor as informações originais.
3. Implemente um bloco de convolução com tamanho de kernel 3. Isso ajuda a refinar as feature maps e compensar os artefatos introduzidos pelo upsampling.
4. Por fim, após esses processos, adicione as feature maps.