Elementare Prozesse von Unternehmen wurden in den letzten Jahren immer häufiger in die Cloud ausgelagert. So konnte der Ressourcenaufwand und auch die damit verbundenen Kosten sinnvoll gesenkt werden. Bei vielen Anwendungen, vor allem im Shopfloor-Bereich ist jedoch eine Zentralisierung in der Cloud aufgrund von Echtzeitanforderungen, hohen Datenmengen und Bandbreitenanforderungen sowie Datensicherheit nicht empfehlenswert. Die steigende Nachfrage für maschinennahe Anwendungen mit künstlicher Intelligenz erfordert industrietaugliche und robuste Hardware mit hoher Rechen- und Grafikleistung, die passgenau auf die jeweilige Applikation ausgerichtet ist.

In den letzten Jahren hat die Cloud-Lösung, also das zentrale Verarbeiten, Speichern und Abrufen von Daten, auch im industriellen Umfeld immer mehr an Beliebtheit erfahren. Im maschinellen Kontext können gewonnene Daten von Anwendungen an einer zentralen Stelle für alle autorisierten Nutzer zugänglich gemacht werden ohne zusätzliche lokale Hardware-Ressourcen. Dem gegenüber stehen der steigende Reifegrad und die damit verbundene Nachfrage nach KI-Anwendungen. Diese wiederum verlagern ihre wesentlich höheren Leistungsanforderungen in Maschinennähe, bedingt durch Echtzeitanforderungen, hohe anfallende Datenmengen und erhöhte Erfordernisse an Datensicherheit.  Um diese Anforderungen zu erfüllen, ist robuste und gleichzeitig leistungsstarke Hardware gefragt. Dabei können, je nach Anwendungsgebiet, unterschiedliche Erweiterungsmodule verwendet werden, um die höchstmögliche Leistung und einen effizienten Dauerbetrieb für die jeweilige Anwendung auf Inferenz-Systemen, wie beispielsweise die Erkennung von intakten oder beschädigten Bauteilen im Fertigungsprozess, bereitzustellen. Ausschlaggebend dafür ist neben der gängigen CPU-Performance auch die Leistung von zusätzlichen Computing-Einheiten. Damit sind leistungsstarke Steckkarten und Hardware-Erweiterungen in Form von GPU-, VPU- und FPGA-Modulen gemeint, welche die Rechenleistung auch von kompakten industriellen PC-Systemen entscheidend skalieren können.

Im Rahmen von Anwendungen mit künstlicher Intelligenz müssen zur Schaffung eines brauchbaren Modells zuerst einmal per „Deep Learning“ extrem rechenintensive Trainingsvorgänge durchgeführt werden. Das System lernt dabei durch induktive Inferenz, allgemeine Gesetzmäßigkeiten aus der Beobachtung von Zusammenhänge zu bilden, zum Beispiel durch die Einspeisung von tausenden Bildern, den Unterschied zwischen einem intakten oder beschädigten Bauteil im Fertigungsprozess. Das Training findet auf leistungsstarken Servern oder in Rechenzentren statt, da die Komplexität der Merkmale und deren Ausprägung zur Unterscheidung der Bilder hierbei extrem viel Computing-Performance benötigen, ohne dass dabei aber Echtzeitanforderungen bestehen. Je vielfältiger die Merkmale und Merkmalsausprägungen zur Unterscheidung der Bauteile, desto komplexer und anspruchsvoller ist die Berechnung des Modells. Das Ergebnis aus solch einem Training ist das sogenannte Inferenz-Modell. Dieses Modell kann nachfolgend im Bereich des Edge Computing, beispielsweise in der Fertigungshalle, direkt an der Anwendung auf spezialisierten aber verbrauchsarmen Computersystemen mit vergleichsweise geringem Ressourcenaufwand, verwendet werden, um die Qualität der Bauteile zu überprüfen und gegebenenfalls Folgeaktionen abzuleiten. Je nach Komplexität des Inferenz-Modells und Umgebungsbedingungen der Anwendung, kann die Berechnung auf unterschiedlichen Verarbeitungs- oder Computing-Einheiten des Rechners stattfinden.

Die Berechnungen des Inferenz-Systems können beispielsweise auf dem Prozessor des Computers ausgeführt werden. Dadurch fallen keine weiteren Kosten für zusätzliche Computing-Module an, der Prozessor deckt aber nur Inferenz-Berechnungen mit mittlerem Leistungsbedarf ab, ist also nicht geeignet für die Berechnung von Algorithmen neuronaler Netzwerke. Eine weitere Möglichkeit zum Rechnen mit Inferenz-Datensätzen ist der Einsatz eines Grafikprozessors. Dafür lassen sich unter anderem herkömmliche Consumer-Grafikkarten einsetzen – diese bieten den Vorteil, dass sie bei moderaten Kosten eine relativ hohe Leistung erbringen. Einziger Nachteil der Consumer-Grafikkarten ist, dass diese nicht für den Dauereinsatz in rauen Umgebungen geeignet sind. Für diesen Einsatz, wie es meist in Produktionshallen der Fall ist, empfiehlt sich spezielle Inferenz-Hardware. Dazu zählen einerseits sogenannte VPUs (Vision Processing Units), die auf geringe Größe und Energieeffizienz optimiert sind, und andererseits FPGA-Karten, welche die Flexibilität und Programmierbarkeit von Software, die auf einem Allzweck-Prozessor (CPU) ausgeführt wird, mit der Geschwindigkeit und Energieeffizienz einer anwendungsspezifischen integrierten Schaltung vereinen. Die für den industriellen Einsatz ausgelegte Inferenz-Hardware ist langlebiger und hält erweiterten Umgebungstemperaturen stand. Hersteller von VPU-Modulen sind unter anderem Nvidia, bspw. mit dem Jetson TX2 Modul und Intel bzw. Movidius mit dem Ein-Chip-System Myriad X. Die VPU-Module ermöglichen, durch einfache Ergänzung zu industrieller Hardware, moderate bis hohe Performance für Inferenz-Maschinen bei verhältnismäßig geringer Leistungsaufnahme. FPGA-Karten (Field Programmable Gate Array) weisen eine geringe bis mittlere Leistungsaufnahme auf, liefern aber durch die individuellen Konfigurationsmöglichkeiten maximale Effizienz und Performance für die Anwendung.

Die Kombination aus zusätzlicher Processing Unit, in Form von GPU, VPU oder FPGA, und einem Industrie-PC erschafft das ideale Inferenz-System für den Einsatz im Shop Floor. Industriecomputer bestehen aus robusten Einzelkomponenten, die für den zuverlässigen Dauerbetrieb ausgelegt sind. So sind nicht nur die mechanischen Bauteile äußerst robust, auch die verbauten und ausführlich getesteten elektrischen Komponenten weisen auch in rauen Umgebungen eine hohe MTBF (Mean Time Between Failure) auf. Darüber hinaus kann eine unterbrechungsfreie Stromversorgung (USV) eingesetzt werden, um auch bei Störungen im Stromnetz die Versorgung kritischer elektrischer Lasten sicherzustellen. Ein erweiterter Betriebstemperaturbereich ermöglicht den Einsatz des Inferenz-Systems auch bei starker Hitze oder Temperaturen Nahe des Gefrierpunkts. Zudem enthalten Embedded Computer aufgrund ihrer passiven Kühlung und dem Einsatz von SSDs keine sich drehenden Teile und stecken somit Vibrationen oder Erschütterungen mühelos weg.