Post by CISPA Helmholtz Center for Information Security

☢️ Warning: Radioactive! New Digital Watermark Aims to Prevent Model Collapse Modern text-to-image models generate images at a previously unmatched speed. But their impressive generative power comes with a growing risk: as their outputs increasingly populate the Internet, they are likely to be collected and reused as training data. Researchers fear that, over time, information could gradually be lost in the process. Rare cases become rarer, errors can compound, and models could lose quality in the long run. This phenomenon is known as Model Collapse. With BitMark, CISPA researcher Louis Kerner and his colleagues have developed a new watermark for AI-generated images. What makes it special: under certain conditions, the mark can even reappear in the outputs of other AI models if those models were trained on marked images. The researchers therefore call their watermark radioactive. BitMark works for so-called autoregressive image models such as Infinity. Instead of embedding a watermark into a finished image after the fact, the mark is embedded directly into the token stream during image generation. The goal of BitMark is to make AI-generated content identifiable over the long term, so that it can be detected and, if necessary, excluded from the training of future models. 🎧 Learn more in the latest episode of CISPA TL;DR. The episode was recorded in German and is available wherever you get your podcasts. Enjoy listening! ----- ☢️ Achtung radioaktiv! Neues digitales Wasserzeichen soll Model Collapse verhindern Moderne Text-zu-Bild-Modelle erzeugen Bilder mit einer bislang unerreichten Geschwindigkeit. Ihre beeindruckende Generierungsleistung geht jedoch mit einem wachsenden Risiko einher: Da ihre Ausgaben zunehmend das Internet bevölkern, werden sie wahrscheinlich gesammelt und als Trainingsdaten wiederverwendet. Forschende befürchten, dass dabei nach und nach Informationen verloren gehen könnten. Seltene Fälle werden seltener, Fehler können sich fortpflanzen und Modelle könnten langfristig an Qualität verlieren. Dieses Phänomen wird als Model Collapse bezeichnet. Mit BitMark hat CISPA-Forscher Louis Kerner gemeinsam mit Kolleg:innen ein neues Wasserzeichen für KI-generierte Bilder entwickelt. Das Besondere daran: Die Markierung kann unter bestimmten Bedingungen sogar in den Ausgaben anderer KI-Modelle wieder auftauchen, wenn diese auf markierten Bildern trainiert wurden. Die Forschenden nennen ihr Wasserzeichen daher radioaktiv. BitMark funktioniert für sogenannte autoregressive Bildmodelle wie Infinty. Statt ein Wasserzeichen nachträglich in ein fertiges Bild einzubauen, wird die Markierung direkt während der Bildgenerierung in den Token-Stream eingebettet. Ziel von BitMark ist es, KI-generierte Inhalte langfristig erkennbar zu machen, damit sie beim Training neuer Modelle bei Bedarf ausgeschlossen werden können. 🎧 Mehr dazu in der aktuellen Folge von CISPA TL;DR. Ihr findet sie überall, wo es Podcasts gibt. Viel Spaß beim Hören!

Video Content