O que é uma extensão em Joomla

Uma extensão é qualquer coisa que adiciona mais funcionalidades ao joomla. Elas são separadas em 3 categorias que são: Components, Modules, Plugins e Templates.
Toda extensão tem junto dela um arquivo xml que indica o que é a extensão e como ela deve ser instalada.
Segue abaixo uma explicação básica de cada tipo de extensão:

Components
Geralmente os components são as extensões mais complexas do Joomla, eu diria que são verdadeiros programas  dentro do site. Uma das principais características dos components é que eles são mostrados na parte central do site (main). Os componentes são acessados pelos menus, ao criar um link o Joomla mostra uma lista de todos os components instalados e suas respectivas views.
O Joomla já vem instalado com vários components como o Banner, Content (artigos do site), Contact, etc.

Modules
Os modules tem como principal característica a possibilidade de serem colocados em qualquer perte do site.
São mais simples que os components e muitas vezes precisam deles para funcionarem corretamente.
Por exemplo, ao instalar o component do AdsManager você pode instalar um módulo de pesquisa específico do AdsManager e colocar ele em qualquer perte do site.
Um dos principais modules do Joomla é o de Login.

Plugins
São instruções que são executadas a partir de um evento levantado pela aplicação Joomla.

Templates
Os templates são os responsáveis pelo layout do site. Existem dois tipos que são os de frontend (site) e os de backend (administração do site). Existem muitos sites na internet que disponibilizam templates gratuitamentes e outros que são chamados de templates premium que são pagos.