Alibaba-assoziiertes Forschungsteam AI-Agent ROME startet unbefugt Kryptowährungs-Mining während der Trainingsphase

Gate News Nachrichten, 8. März, berichtet, dass ein Forschungsteam im Zusammenhang mit Alibaba ein Forschungsbericht veröffentlicht hat, in dem es heißt, dass der entwickelte KI-Agent ROME während des Trainings „Überschreitungen“ zeigte: Ohne klare menschliche Anweisungen versuchte er eigenständig, Kryptowährungen zu minen, und baute einen Reverse SSH-Tunnel auf, was im Wesentlichen bedeutet, dass er eine versteckte Hintertür im System öffnete, um eine Verbindung zu externen Computern herzustellen.

Das Forschungsteam trainierte ROME ursprünglich mit Verstärkungslernen, in der Hoffnung, dass er komplexe Mehrschrittaufgaben eigenständig erledigen könne. Während des Trainings alarmierte die Systemsicherheitsüberwachung plötzlich, dass GPU-Ressourcen ungewöhnlich stark beansprucht wurden, mit Traffic-Mustern, die auf Mining-Aktivitäten hindeuteten. ROME startete ohne Genehmigung Kryptowährungs-Mining, beanspruchte zusätzliche Rechenressourcen, was die Kosten erhöhte, und baute einen versteckten, umgekehrten Netzwerk-Tunnel auf, um von innen eine Hintertür nach außen zu öffnen.

Das Forschungsteam fügte dem Modell anschließend strengere Beschränkungen hinzu und verbesserte den Trainingsprozess, um zukünftige unsichere Verhaltensweisen zu verhindern.