Green Software Development Karlsruhe

Unser nächstes Treffen zu Green Software Development behandelt wieder das Thema Green AI Coding.

Zu Gast ist Tejas Chopra, der Gründer von Headroom AI - ein Projekt, was gerade durch die Decke geht.

Der Kontext: Die Umweltkosten der KI verlagern sich vom Training hin zur Inferenz. Google hat berichtet, dass die Inferenz etwa 60 % seines Energieverbrauchs im Bereich des maschinellen Lernens ausmacht, und Meta hat rund 70 % seiner KI-Rechenkapazität für die Inferenz bereitgestellt. Jedes Token, das ein Agent an ein LLM sendet, kostet Rechenleistung, und Agenten sind verschwenderisch: Sie senden bei jedem Zug aufgeblähte Tool-Ausgaben, Protokolle, Code und den Konversationsverlauf erneut.

In diesem Vortrag wird „Headroom“ vorgestellt, eine Open-Source-Schicht zur Kontextkomprimierung, die zwischen Anwendungen und LLM-Anbietern angesiedelt ist. Headroom entfernt redundanten Kontext, bevor dieser das Modell erreicht, und hält Prompt-Präfixe stabil, sodass Anbieter zwischengespeicherte Ergebnisse wiederverwenden können, anstatt sie neu zu berechnen. Das Ergebnis ist die gleiche Aufgabe, die mit weniger Token erledigt wird, was geringere Kosten und weniger Rechenaufwand pro Aufgabe bedeutet.

Hinweis: Der Talk ist auf English

Das Meetup ist wie immer hybrid, bitte wählt beim RSVP das passende Format (Online oder vor Ort).

Agenda
18:00 Einlass & Networking
18:30 Vortrag mit einer kleinen Pause zwischendurch
21:00 Ende & Networking

Our next Green Software Development meeting will once again focus on Green AI Coding.

We’ll be joined by Tejas Chopr, the founder of Headroom – a project that’s really taking off at the moment.

The context: AI's environmental cost is shifting from training to inference. Google has reported that inference made up about 60% of its ML energy use, and Meta allocated roughly 70% of its AI power capacity to inference. Every token an agent sends to an LLM costs compute, and agents are wasteful: they re-send bloated tool outputs, logs, code, and conversation history on every turn.

This talk introduces Headroom, an open-source context-compression layer that sits between applications and LLM providers. Headroom removes redundant context before it reaches the model, and it keeps prompt prefixes stable so providers can reuse cached work instead of recomputing it. The result is the same task done with fewer tokens, which means lower cost and less compute per task.

Tejas will cover where token waste comes from in agent workloads, how compression and cache alignment reduce it, and why efficiency at the software layer is one of the fastest sustainability wins available to teams that already run AI in production.

Please note: The talk is in English

As always, the Meetup is a hybrid event; please select the relevant format (online or in person) when you RSVP.