Berlin, 16 May 2024
(The following text has been translated from German using Google Translate, then edited by Insight EU.)
In Germany, national supervision of artificial intelligence issues is complex due to sectoral responsibilities and federal division. It is unclear who lead AI governance in Germany. At a hearing in the Digital Committee of Germany’s Bundestag on Wednesday afternoon, some experts proposed Federal Network Agency (Bundesnetzagentur). Nine experts commented on the national scope for implementing the European law on artificial intelligence (AI Act).
On March 13, 2024, the European Parliament adopted the law regulating artificial intelligence. The adoption by the council is expected to take place next Tuesday, reported committee chairwoman Tabea Rößner (Greens). The AI Act will come into force 20 days after publication in the EU Official Journal. To monitor and implement the regulation, each member state should appoint a central supervisory authority.
Kilian Groß from the Directorate General CNECT reported on the planned AI office at the European Commission (invited by decision of the committee). The department should have around 100 employees, and its development has high priority: “All new employees should be on board by the end of next year,” said Groß. He emphasized that this is product-related regulation with a horizontal approach and is strictly risk-based. Sufficient technical and personnel competence is needed nationally. Groß pointed out that it was necessary to hurry, as the first bans would come after just six months. Although the legal deadline for naming the responsible authority is one year after entry into force, the commission recommends sending representatives to the AI board now in order to start well prepared, reported Groß.
David Roth-Isigkeit from the German University of Administrative Sciences Speyer (invited at the suggestion of the chair) pointed out that two organizationally separate authorities, a notifying authority and a market surveillance authority, were necessary. But these could still be organized “under one roof,” says Roth-Isigkeit. The regulation sets high hurdles with regard to the equipment and skills of employees, which could cause difficulties in the federal context, he said. The basic matter of product safety allows a wide scope for setting up an AI authority; Federal authorities are possible without the involvement of the states, but forms of cooperation between the federal and state governments are also possible, as long as there is no inadmissible intertwining of tasks. Personally, he sees little alternative to centralization at the federal level.
Nicole Büttner-Thiel from the Federal Association of German Startups and CEO of Merantix Momentum (invited at the suggestion of the FDP parliamentary group) emphasized that the design of the national implementation is crucial for the long-term innovative ability of the AI industry and service locations in Germany and Europe. From the association’s point of view, there is little need for additional legislation; Different interpretations and interpretations of the AI regulation should be avoided if possible. What is necessary is a legally secure, practical, low-bureaucracy and innovation-friendly implementation of the AI regulation, said the expert. When it comes to supervision, sectoral fragmentation of supervisory competencies must be avoided, said Büttner-Thiel and advocated for a central contact point that ensures quick procedures. Rapid implementation is also necessary in order to avoid legal uncertainty, for example with regard to conformity obligations for high-risk applications.
Lina Ehrig from the Federal Association of Consumer Organizations (invited at the suggestion of the Alliance 90/The Greens faction) emphasized that building trust can only be successful if supervision takes the needs of consumers into account. This includes a low-threshold complaint procedure and the future central supervisory authority being responsible for the entire procedure. The Digital Services Act (DDG) could serve as a model to avoid “authority ping-pong,” said Ehrig. As with the DDG, an independent AI advisory board could be set up to advise the supervisory authorities and publish recommendations. When asked, Ehrig said that in view of the numerous new digital policy tasks for the Federal Network Agency, it was logical to seriously consider these for supervisory purposes.
Ehrig and Kilian Vieth-Ditlmann (AlgorithWatch, invited at the suggestion of the Die Linke group) clearly spoke out in favor of bans on the use of biometric remote identification systems in publicly accessible places such as gas stations or shopping centers, including for private actors. The ban could be made more specific in the form of an implementing law, said Vieth-Ditlmann. “Facial recognition must remain banned across the board so that public spaces remain free and safe,” he said. The expert advocated setting up a national AI transparency register for the public sector that would comprehensively complement the information in the EU database on high-risk AI systems and provide mandatory, meaningful information.
Lajla Fetic, Senior AI Governance Expert (invited at the suggestion of the SPD parliamentary group) emphasized that the authority must be named within twelve months. You need your own budget and long-term financing, Fetic continued. In the short term, existing authorities need to be expanded to include competencies, such as those that do justice to the socio-technical nature of AI systems and have knowledge in the area of fundamental rights protection, said Fetic. In the long term, bundling existing supervisory authorities for the digital sector could be advisable, she said.
Patrick Glauner from the Deggendorf University of Technology (invited at the suggestion of the CDU/CSU parliamentary group) was fundamentally skeptical as to whether the AI Act was necessary. Due to the broad and vague definition of AI in conjunction with the only vague definition of high-risk applications, there is concern about bureaucratic burdens and obstacles to innovation, said Glauner. For an “innovation-friendly, low-cost and practical” implementation, there needs to be a timely determination of supervision, appropriate standardization and checklists. In view of the errors in the implementation of the General Data Protection Regulation (GDPR), he spoke out against supervision by data and consumer protection officers. Glauner also pointed out the risk of a large number of civil lawsuits, for which authorities and the judiciary would have to develop their own AI skills. Permanent monitoring of the AI Act is essential, he continued.
Robert Kilian, CEO and managing director of CertifAI and board member of the KI Federal Association (invited at the suggestion of the CDU/CSU parliamentary group), also said it would make sense to name an existing federal authority, build on existing competencies and support it with a task force , which takes the federal structures into account. Sectoral authorities should remain responsible if this is stipulated in the regulation, Kilian continued. When selecting the supervisory authority, the decisive factor should be the willingness to get involved in new topics, he said. With regard to personnel, Kilian called for increased permeability between business, science and supervision – this is particularly important given the rapidly developing AI as a subject of supervision, said Kilian.
Oliver Suchy from the German Federation of Trade Unions (invited at the suggestion of the SPD parliamentary group) referred to the lack of legal certainty for the use of AI in the work context and the late or missing involvement of employees. He advocated making the opening clause more specific in order to make the operational use of AI applications easier through binding rules. What is necessary is a mandatory AI impact assessment before the introduction of AI applications and regardless of the high-risk topic, Suchy continued. In addition, the opportunities for co-determination would have to be expanded through a reform of the Works Constitution Act. The aim must be to “discuss operational goals for using AI openly and together with employees”.
Source: German Bundestag (please, find the original version and link below)
Nationale Aufsicht bei Künstlicher Intelligenz komplex
(Originalzusammenfassung des Deutschen Bundestags)
Berlin, 16. Mai 2024
Berlin: (hib/LBR) Die nationale Aufsicht bei Fragen Künstlicher Intelligenz ist aufgrund der sektoralen Zuständigkeiten und der föderalen Aufteilung komplex. Wer die KI-Governance in Deutschland übernehmen soll, ist offen, bei einer Anhörung im Digitalausschuss am Mittwochnachmittag brachten einige Sachverständige die Bundesnetzagentur ins Gespräch. Neun Sachverständige äußerten sich zu den nationalen Spielräumen bei der Umsetzung des europäischen Gesetzes über Künstliche Intelligenz (AI Act).
Am 13. März 2024 hat das Europäische Parlament das Gesetz zur Regulierung Künstlicher Intelligenz angenommen. Die Verabschiedung durch den Rat erfolgt voraussichtlich am kommenden Dienstag, berichtete die Ausschussvorsitzende Tabea Rößner (Grüne). In Kraft trete der AI Act 20 Tage nach Veröffentlichung im EU-Amtsblatt. Zur Überwachung und Umsetzung der Verordnung soll jeder Mitgliedstaat eine zentrale Aufsichtsbehörde benennen.
Über das geplante KI-Büro bei der Europäischen Kommission berichtete Kilian Groß von der Generaldirektion CNECT (eingeladen auf Beschluss des Ausschusses). Die Abteilung solle rund 100 Mitarbeiter umfassen, der Aufbau habe hohe Priorität: „Bis Ende nächsten Jahres sollen alle neuen Mitarbeiter an Bord sein“, sagte Groß. Er betonte, dass es sich um eine produktbezogene Regulierung mit einem horizontalen Ansatz handele, die strikt risikobasiert sei. Nötig sei national ausreichend Fach- und Personalkompetenz. Groß wies darauf hin, dass Eile geboten sei, da bereits nach sechs Monaten die ersten Verbote kämen. Obwohl die gesetzliche Frist für die Benennung der zuständigen Behörde ein Jahr nach Inkrafttreten betrage, empfehle die Kommission, bereits jetzt Vertreter in das AI-Board zu entsenden, um gut vorbereitet zu starten, berichtete Groß.
David Roth-Isigkeit von der Deutschen Universität für Verwaltungswissenschaften Speyer (eingeladen auf Vorschlag der Vorsitzenden) verwies darauf, dass zwei organisatorisch getrennte Behörden, eine notifizierende Behörde und eine Marktüberwachungsbehörde, erforderlich seien. Diese könnten aber trotzdem „unter einem Dach“ organisiert werden, so Roth-Isigkeit. Die Verordnung setze hohe Hürden im Hinblick auf die Ausstattung und die Kompetenzen der Mitarbeiter, was für Schwierigkeiten im föderalen Kontext sorgen könnte, sagte er weiter. Die Grundmaterie der Produktsicherheit lasse bei der Einrichtung einer KI-Behörde einen weiten Spielraum zu; möglich seien Bundesbehörden ohne Beteiligung der Länder, aber auch aufgabenteilige Kooperationsformen zwischen Bund und Ländern seien möglich, solange es nicht zu einer unzulässigen Aufgabenverflechtung komme. Persönlich sehe er kaum eine Alternative zu einer Zentralisierung auf Bundesebene.
Nicole Büttner-Thiel vom Bundesverband Deutsche Startups und CEO von Merantix Momentum (eingeladen auf Vorschlag der Fraktion der FDP) betonte, dass die Ausgestaltung der nationalen Umsetzung entscheidend für die langfristige Innovationsfähigkeit der KI-Standorte Deutschland und Europa sei. Aus Sicht des Verbands bestehe wenig Bedarf für zusätzliche Gesetzgebung; unterschiedliche Auslegungen und Interpretationen der KI-Verordnung sollten möglichst vermieden werden. Notwendig sei eine rechtssichere, praxistaugliche, bürokratiearme und innovationsfreundliche Umsetzung der KI-Verordnung, sagte die Expertin. Bei der Aufsicht müsse eine sektorale Zersplitterung der Aufsichtskompetenzen vermieden werden, sagte Büttner-Thiel und plädierte für eine zentrale Anlaufstelle, die schnelle Verfahren gewährleiste. Notwendig sei zudem eine zügige Umsetzung, um Rechtsunsicherheiten zu vermeiden, etwa im Hinblick auf Konformitätspflichten bei Hochrisikoanwendungen.
Lina Ehrig vom Verbraucherzentrale Bundesverband (eingeladen auf Vorschlag der Fraktion Bündnis 90/Die Grünen) betonte, Vertrauensbildung könne nur gelingen, wenn die Aufsicht die Bedürfnisse der Verbraucher berücksichtige. Dazu gehöre, dass es ein niedrigschwelliges Beschwerdeverfahren gebe und die künftige zentrale Aufsichtsbehörde für das gesamte Verfahren zuständig sei. Das Digitale-Dienste-Gesetz (DDG) könne hier als Vorbild dienen, um „Behörden-Ping-Pong“ zu vermeiden, sagte Ehrig. Ebenfalls wie beim DDG könne ein unabhängiger KI-Beirat eingerichtet werden, der die Aufsichtsbehörden beraten und Empfehlungen veröffentlichen könne. Auf Nachfrage sagte Ehrig, es sei angesichts der zahlreichen neuen digitalpolitischen Aufgaben für die Bundesnetzagentur folgerichtig, diese ernsthaft für die Aufsicht zu bedenken.
Ehrig und Kilian Vieth-Ditlmann (AlgorithWatch, eingeladen auf Vorschlag der Gruppe Die Linke) sprachen sich klar für Verbote des Einsatzes biometrischer Fernidentifizierungssysteme an öffentlich zugänglichen Orten wie etwa Tankstellen oder Einkaufszentren auch für private Akteure aus. Das Verbot könne etwa im Zuge eines Durchführungsgesetzes konkretisiert werden, sagte Vieth-Ditlmann. „Gesichtserkennung muss flächendeckend verboten bleiben, sodass öffentliche Räume frei und sicher bleiben“, sagte er. Der Sachverständige plädierte dafür, ein nationales KI-Transparenzregister für die öffentliche Hand aufzubauen, das die Informationen der EU-Datenbank über Hochrisiko-KI-Systeme umfassend ergänzt und verpflichtende, aussagekräftige Angaben bereitstellt.
Lajla Fetic, Senior AI Governance Expert (auf Vorschlag der Fraktion der SPD) betonte, die Behörde müsse innerhalb von zwölf Monaten benannt werden. Sie brauche ein eigenes Budget und eine langfristige Finanzierung, sagte Fetic weiter. Kurzfristig müssten bestehende Behörden um Kompetenzen erweitert werden, etwa solche, die dem soziotechnischen Charakter von KI-Systemen gerecht werden und über Wissen im Bereich des Grundrechtschutzes verfügten, so Fetic. Langfristig könne eine Bündelung bestehender Aufsichtsbehörden für den Digitalbereich ratsam sein, sagte sie.
Patrick Glauner von der Technische Hochschule Deggendorf (eingeladen auf Vorschlag der Fraktion der CDU/CSU) zeigte sich grundsätzlich skeptisch, ob es den AI Act benötige. Durch die breite und unkonkrete Definition von KI in Verbindung mit der nur vagen Abgrenzung von Hochrisiko-Anwendungen bestehe die Sorge vor Bürokratiebelastungen und Innovationshemmnissen, sagte Glauner. Für eine „innovationsfreundliche, kostenarme und praxisnahe“ Umsetzung brauche es eine zeitnahe Festlegung der Aufsicht, passende Standardisierungen und Checklisten. Er sprach sich mit Blick auf die Fehler bei der Umsetzung der Datenschutzgrundverordnung (DSGVO) gegen eine Aufsicht durch Daten- und Verbraucherschützer aus. Glauner verwies zudem auf die Gefahr einer Vielzahl zivilrechtlicher Klagen, für die Behörden und die Justiz eigene KI-Kompetenzen aufbauen müssten. Ein permanentes Monitoring des AI Acts sei essentiell, sagte er weiter.
Auch Robert Kilian, CEO und Geschäftsführer von CertifAI und im Vorstand des KI-Bundesverbands (eingeladen auf Vorschlag der Fraktion der CDU/CSU), hielt es für sinnvoll, eine existierende Bundesbehörde zu benennen, auf bestehenden Kompetenzen aufzubauen und mit einer Task Force zu flankieren, die die föderalen Strukturen berücksichtige. Sektorale Behörden sollten zuständig bleiben, wenn dies in der Verordnung angelegt sei, sagte Kilian weiter. Bei der Auswahl der Aufsichtsbehörde solle ausschlaggebend sein, wo Bereitschaft bestehe, sich auf neue Themen einzulassen, sagte er. Mit Blick auf das Personal forderte Kilian eine erhöhte Durchlässigkeit zwischen Wirtschaft, Wissenschaft und Aufsicht – dies sei gerade bei der sich schnell entwickelnden KI als Aufsichtsgegenstand von besonderer Bedeutung, so Kilian.
Auf die fehlende Rechtssicherheit für den KI-Einsatz im Arbeitskontext und die späte oder fehlende Einbeziehung von Beschäftigten verwies Oliver Suchy vom Deutschen Gewerkschaftsbund (eingeladen auf Vorschlag der Fraktion der SPD). Er plädierte für eine Konkretisierung der Öffnungsklausel, um die betriebliche Nutzung von KI-Anwendungen durch verbindliche Regeln zu erleichtern. Notwendig sei eine obligatorische KI-Folgenabschätzung vor Einführung von KI-Anwendungen und unabhängig von der Hochrisiko-Thematik, sagte Suchy weiter. Zudem müssten die Mitbestimmungsmöglichkeiten durch eine Reform des Betriebsverfassungsgesetzes erweitert werden. Ziel müsse es sein, dass „offen und gemeinsam mit den Beschäftigten über betriebliche Ziele der Nutzung von KI“ gesprochen werde.
Quelle: Deutscher Bundestag
If you want to get regular updates on our topics digitization or security you might be interested in these plans: