Agencja Bezpieczeństwa Cybernetycznego Singapuru (CSA) na jesieni 2024 roku, wprowadziła wytyczne dotyczące zabezpieczania systemów sztucznej inteligencji. Wytyczne te zawierają porady dla programistów i właścicieli systemów zarządzających systemami sztucznej inteligencji w całym ich cyklu życia, kładąc nacisk na zasady SecurebyDesign i SecurebyDefault. Wytyczne są również zgodne z międzynarodowymi standardami, takimi jak NIST AI Risk Management Framework.
Systemy sztucznej inteligencji stoją w obliczu wyjątkowych zagrożeń dla cyberbezpieczeństwa, w tym ataków w łańcuchu dostaw, nieautoryzowanego dostępu i ataków przeciwników, takich jak zatruwanie danych i ataki typu evasion. Wytyczne proponują podejście do bezpieczeństwa AI przez cały cykl życia, oferując praktyczne porady dotyczące ochrony infrastruktury AI i zmniejszania podatności na zagrożenia.
Kluczowe aspekty wytycznych:
Planowanie i projektowanie:
Faza ta koncentruje się na podnoszeniu świadomości na temat zagrożeń bezpieczeństwa AI, przeprowadzaniu dokładnych ocen ryzyka i zrozumieniu potencjalnych zagrożeń, przed którymi stoją systemy AI. Na tym etapie kluczowe znaczenie ma zapewnienie, że wszyscy interesariusze, w tym programiści i kierownictwo wyższego szczebla, są świadomi najlepszych praktyk w zakresie bezpieczeństwa.
Rozwój:
Nacisk kładziony jest na zabezpieczenie łańcucha dostaw, z naciskiem na weryfikację wszystkich komponentów - takich jak dane szkoleniowe, modele i biblioteki oprogramowania - wykorzystywanych w systemie sztucznej inteligencji. Deweloperzy są zachęcani do stosowania zasad Secure by Design, przyjmowania bezpiecznych praktyk kodowania i monitorowania zasobów AI w celu zapobiegania lukom w zabezpieczeniach, takim jak zatruwanie danych lub ataki typu backdoor na modele.
Wdrożenie:
Wytyczne zalecają wdrożenie silnej kontroli dostępu, segregację środowisk i domyślną bezpieczną konfigurację systemów. Systemy AI powinny być wdrażane dopiero po rygorystycznych kontrolach i testach bezpieczeństwa. Należy również wdrożyć procedury zarządzania incydentami w celu wykrywania, reagowania i łagodzenia naruszeń bezpieczeństwa.
Operacje i konserwacja:
Monitorowanie danych wejściowych i wyjściowych systemu AI ma kluczowe znaczenie dla zapewnienia, że system zachowuje się zgodnie z oczekiwaniami. Obejmuje to rejestrowanie zapytań, monitów i danych wyjściowych systemu AI, ponieważ przeciwnicy mogą z czasem wykorzystywać luki w zabezpieczeniach. Ustanowienie procesów ujawniania luk w zabezpieczeniach pozwala organizacjom na ciągłą poprawę bezpieczeństwa poprzez reagowanie na zgłaszane problemy.
Zakończenie:
W miarę wycofywania systemów sztucznej inteligencji, zapewnienie bezpiecznego usuwania danych i modeli jest konieczne, aby zapobiec wyciekom danych i naruszeniom. Prawidłowa likwidacja zasobów AI, zgodna ze standardami branżowymi, ma kluczowe znaczenie dla utrzymania długoterminowego bezpieczeństwa.
Przewodnik uzupełnia wytyczne, dostarczając praktycznych zaleceń, takich jak używanie klasyfikatorów do wykrywania złośliwych danych wejściowych i wdrażanie ograniczania szybkości w celu zapobiegania atakom typu Denial of Service (DoS) na systemy sztucznej inteligencji. Sugeruje również sandboxing modeli sztucznej inteligencji innych firm, monitorowanie zachowania systemu i korzystanie ze szkoleń przeciwników w celu łagodzenia zagrożeń.
Singapore Publishes Guidelines on Securing AI Systems
On October 15, 2024, the Cyber Security Agency of Singapore (CSA) introduced Guidelines on Securing AI Systems. These guidelines offer advice for developers and system owners managing AI systems throughout their lifecycle, emphasizing SecurebyDesign and SecurebyDefault principles. The guidelines also align with international standards such as the NIST AI Risk Management Framework.
AI systems face unique cybersecurity risks, including supplychain attacks, unauthorized access, and adversarial attacks like data poisoning and evasion attacks. The guidelines propose a lifecycle approach to AIsecurity, offering practical advice to safeguard AI infrastructure and reduce vulnerabilities.
Key Aspects of the Guidelines:
Planning and Design:
This phase focuses on raising awareness about AI securityrisks, conducting thorough risk assessments, and understanding the potential threats AI systems face. Ensuring that all stakeholders, including developers and senior management, are aware of security best practices is critical at this stage.
Development:
Securing the supply chain is emphasized, with a focus on verifying all components—such as training data, models, and software libraries—used in the AI system. Developers are encouraged to apply Secure by Design principles, adopt secure coding practices, and monitor AI assets to prevent vulnerabilities such as data poisoning or backdoor model attacks.
Deployment:
The guidelines advise implementing strong access control, segregating environments, and configuring systems securely by default. AI systems should only be deployed after rigorous security checks and testing. Incident management procedures should also be in place to detect, respond to, and mitigate security breaches.
Operations and Maintenance:
Monitoring AI system inputs and outputs is vital to ensure the system behaves as expected. This involves logging queries, prompts, and AI system outputs, as adversaries might exploit vulnerabilities over time. Establishing vulnerability disclosure processes allows organizations to continuously improve security by responding to reported issues.
End of Life:
As AI systems are retired, ensuring the secure disposal of data and models is necessary to prevent data leaks and breaches. Proper decommissioning of AI assets, in line with industry standards, is vital to maintaining long-term security.
The Companion Guide complements the guidelines by providing practical recommendations, such as using classifiers to detect malicious inputs and implementing rate-limiting to prevent Denial of Service (DoS) attacks on AI systems. It also suggests sandboxing third-party AI models, monitoring system behavior, and using adversarial training to mitigate threats.
Autor: Sebastian Burgemejster
Комментарии