Birrabot

Web crawler operated by Birrapedia · Rastreador web de Birrapedia

English

What is Birrabot?

Birrabot is the web crawler operated by Birrapedia, a non-profit beer aggregator and encyclopedia. Birrapedia catalogues beers and breweries and lists where they can be purchased, linking visitors directly to the online shops that sell them.

The crawler visits online beer shops to keep product listings, prices and availability up to date. Birrapedia is run by four people as a personal project. Some shops pay for banner placements, which covers part of our server costs; the project is not run for profit. All shops are crawled the same way, whether they advertise with us or not.

Purpose

• Keep beer catalogue data accurate and current.
• Send referral traffic to the shops we index, at no cost to them.
• Content is not used to train AI models.

User-Agent strings

Birrabot/4.0 (+https://birrapedia.com/bot.html; beer aggregator; [email protected])
Birrabot/1.0 (+https://birrapedia.com/bot.html; beer aggregator; [email protected])

All Birrabot User-Agents contain the substring Birrabot.

IP addresses

Birrabot crawls exclusively from these three fixed IP addresses:

5.56.58.109
5.56.58.239
5.56.60.15

If you wish to allow our crawler on your server or CDN (for example in Cloudflare), you may filter by these IPs together with the Birrabot User-Agent substring.

Request signing

Birrabot signs its requests using Web Bot Auth (HTTP Message Signatures, RFC 9421, Ed25519). Our public key directory is available at:

https://birrapedia.com/.well-known/http-message-signatures-directory

Any request claiming to be Birrabot without a valid signature from that key directory is not ours and may safely be blocked.

Crawl behaviour

• We respect robots.txt, including Crawl-delay.
• We honour Retry-After on 429 and 503 responses.
• Requests are made sequentially, never in parallel against the same host.
• A given shop is normally revisited no more than once per day.
• We only fetch public catalogue pages. We do not attempt to access accounts, checkout, forms or any area requiring authentication.

Opting out

To stop Birrabot crawling your site, add the following to your robots.txt:

User-agent: Birrabot
Disallow: /

Alternatively, email us and we will remove your shop from our crawl list manually. We are happy to adjust crawl rate, restrict paths or stop entirely on request — just ask.

Contact

Email: [email protected]
We aim to answer within a few days.

Español

¿Qué es Birrabot?

Birrabot es el rastreador web de Birrapedia, un agregador y enciclopedia de cervezas sin ánimo de lucro. Birrapedia cataloga cervezas y cervecerías e indica dónde pueden comprarse, enlazando directamente a las tiendas online que las venden.

El rastreador visita tiendas de cerveza para mantener actualizados los listados de productos, precios y disponibilidad. Birrapedia lo mantenemos cuatro personas como proyecto personal. Algunas tiendas contratan banners con nosotros, y los ingresos cubren parte del coste de los servidores; el proyecto no busca beneficio. El catálogo se rastrea igual para todas las tiendas, contraten o no.

Finalidad

• Mantener el catálogo de cervezas exacto y actualizado.
• Enviar tráfico a las tiendas que indexamos, sin coste alguno para ellas.
• El contenido no se usa para entrenar modelos de IA.

Cadenas User-Agent

Birrabot/4.0 (+https://birrapedia.com/bot.html; beer aggregator; [email protected])
Birrabot/1.0 (+https://birrapedia.com/bot.html; beer aggregator; [email protected])

Todos los User-Agent de Birrabot contienen la subcadena Birrabot.

Direcciones IP

Birrabot rastrea exclusivamente desde estas tres direcciones IP fijas:

5.56.58.109
5.56.58.239
5.56.60.15

Si desea permitir el paso de nuestro rastreador en su servidor o CDN (por ejemplo en Cloudflare), puede filtrar por estas IP junto con la subcadena Birrabot en el User-Agent.

Firma de peticiones

Birrabot firma sus peticiones mediante Web Bot Auth (HTTP Message Signatures, RFC 9421, Ed25519). Nuestro directorio de claves públicas está disponible en:

https://birrapedia.com/.well-known/http-message-signatures-directory

Cualquier petición que diga ser Birrabot sin una firma válida procedente de ese directorio no es nuestra y puede bloquearse sin problema.

Comportamiento del rastreo

• Respetamos robots.txt, incluido Crawl-delay.
• Respetamos la cabecera Retry-After en respuestas 429 y 503.
• Las peticiones se hacen de forma secuencial, nunca en paralelo contra el mismo servidor.
• Una tienda concreta no se visita, normalmente, más de una vez al día.
• Solo consultamos páginas públicas de catálogo. No intentamos acceder a cuentas, procesos de compra, formularios ni ninguna zona que requiera autenticación.

Cómo excluirse

Para impedir que Birrabot rastree su sitio, añada lo siguiente a su robots.txt:

User-agent: Birrabot
Disallow: /

También puede escribirnos y eliminaremos su tienda de nuestra lista de rastreo manualmente. Estamos encantados de ajustar la frecuencia, restringir rutas o detenernos por completo si nos lo piden.

Contacto

Correo: [email protected]
Respondemos en pocos días.