Title (eng)
Computers and the ability to see
understanding the negotiation and implementation of image processing algorithms
Author
Christoph Musik
Advisor
Ulrike Felt
Assessor
Ulrike Felt
Regula Valérie Burri
Abstract (deu)
Alle Versuche, Maschinen und Computern die Fähigkeit des Sehen beizubringen, sind Versuche, digitale Bilder herzustellen, zu bearbeiten und vor allem ihre Inhalte zu verstehen. Zu diesem Zweck ist es zwingend notwendig, Bildverarbeitungsalgorithmen zu entwickeln und anzuwenden. Bildverarbeitungsalgorithmen werden zu einflussreichen politischen und gesellschaftlichen Akteuren und Entscheidungsträgern. Deshalb ist es wichtig, ein tiefgehendes Verständnis davon zu erreichen, wie genau diese Algorithmen Bilder erzeugen, bearbeiten und vor allem semantisch interpretieren.
“Computers and the Ability to See” basiert auf einem interdisziplinärem Zugang, welcher die akademischen Felder der Wissenschafts- und Technikforschung (STS), der visuellen Kulturstudien und der Überwachungs- und Identifizierungsstudien verbindet. Es ist insbesondere inspiriert von Lucy Suchmans Arbeit zu ‘Human-Machine Reconfigurations’ (Suchman 2007) und dem visuellen STS Zugang der ‘Social Studies of Scientific Imaging and Visualization’ (Burri & Dumit 2008). Die Dissertation schreibt sich somit in die theoretischen Rahmen des (feministischen) Posthumanismus und der materiellen Semiotik ein. Damit verbunden ist die Entscheidung, die konkreten Praktiken von nichtmenschlichen Entitäten und ihren spezifischen Handlungsfähigkeiten empirisch zu untersuchen (vgl. (Suchman 2007: 1).
Die empirische Analyse von Bildverarbeitungsalgorithmen bettet sich ein in die grundlegenden soziotechnischen Transformationsprozesse, die mit den Begriffen Überwachungsgesellschaft (hier insbesondere das Phänomen der “intelligenten” Videoüberwachung), Digitalisierung, Automatisierung und “Smartisierung” von gesellschaftlichen Praktiken, Artefakten und Geräten zusammengefasst werden können. Auf dieser Grundlage erforschte die Dissertation Mensch-Computer (Re-)Konfigurationen, indem sie die Ausverhandlung und Entwicklung mit Fokus auf die politische und gesellschaftliche Signifikanz von Bildverarbeitungsalgorithmen in unterschiedlichen Situationen und Umgebungen von den Laboren der Bildverarbeitung bis hin zu den Medien in den Blick nahm. Die Forschung folgte unter Einbeziehung eines breiten Methodenspektrums der qualitativen Sozialforschung (Teilnehmende Beobachtung, Gruppendiskussionen, Interviews, Dokumentenanalyse) einer ‘visiographischen’ Strategie und entwickelt darauf aufbauend in den Schlussfolgerungen den konzeptuellen Reflektionsrahmen der “Social Studies of Image Processing Algorithms” (SIPA). Dadurch leistet die Arbeit einen wichtigen Beitrag zu der Frage, wie Gesellschaft und Wissenschaft mit Bildverarbeitungsalgorithmen in ihrer Funktion als ‘politische Ordnungsapparate’ in einem verantwortlichen Weg der Innovation umgehen können. Dabei ermutigt SIPA explizit die Zusammenarbeit von Sozial- und ComputerwissenschaftlerInnen sowie die Einbeziehung weiterer gesellschaftlicher Akteure wie zum Beispiel KünstlerInnen. SIPA beinhaltet also auch Fragen und Ebenen, die sich mit der Steuerung, Regulierung und mit ethischen, rechtlichen und gesellschaftlichen Aspekten von Bildverarbeitungsalgorithmen auseinandersetzen.
Abstract (eng)
It is a basic requirement of all attempts to configure machines and computers with the ability to see, that these are in fact, attempts to produce, process and understand digital images by means of computer algorithms. Those becoming powerful social actors and decision makers, it is important to understand exactly, the production, processing, and interpretation of digital images by algorithms where the semantic interpretation element is central.
“Computers and the Ability to See” is based on an interdisciplinary, multiperspective approach that is framed by the academic fields of Science and Technology Studies (STS), Visual Culture Studies and Surveillance & Identification Studies. It especially is inspired by Lucy Suchman’s work on ‘Human-Machine Reconfigurations’ (Suchman 2007) and the Visual STS approach of the ‘Social Studies of Scientific Imaging and Visualization’ (Burri & Dumit 2008). This links to what could be summarised as the theoretical frames of (feminist) post-humanism and material-semiotics, and connected to it, to the commitment “to empirical investigations of the concrete practices” of nonhuman entities and their specific agencies (Suchman 2007: 1).
The most relevant sociotechnical transformation processes that framed the empirical analysis with computer vision and more specifically with Image Processing Algorithms (IPAs) are what could be condensed in the “grand narrative” (cf. Law 2008: 629) terms of surveillance society (especially what often is referred to as Smart CCTV or intelligent video surveillance) as well as the digitalisation, automatisation, and “smartisation” of social practices, artefacts and devices. On these grounds, the thesis explored ‘Human-Computer Vision (Re-) Configurations’ by analysing the negotiation and the development, and by focusing on the political and social significance of Image Processing Algorithms in different sites from the computer vision laboratory to the news media. In doing so, the research followed a ‘visiographic’ strategy that applied a wide array of qualitative methods (participant observation, group discussions, interviews, document analysis).
In the conclusions the thesis discusses the question how societies and the sciences could deal with the ‘political ordering devices’ IPAs in a responsible and reflective way of innovation. In this regard it suggests the “Social Studies of Image Processing Algorithms” (SIPA), a conceptual and reflective framework for the further development and analysis of IPAs, encouraging social scientists, artists and computer scientists to reflect and work together in the specific research and innovation field, but also the business field of computer vision. The SIPA scheme also covers questions of governance, regulation, and ELSA (ethical, legal, and social aspects).
Keywords (eng)
Image Processing AlgorithmsComputer VisionMachine VisionAutomatisationSmartisationface reognitionbehaviour pattern analysissuveillance
Keywords (deu)
BildverarbeitungsalgorithmenComputersehenMaschinensehenAutomatisierungInformatisierungSmartisierungGesichtserkennungVerhaltensmustererkennungÜberwachung
Subject (deu)
Type (deu)
Persistent identifier
https://phaidra.univie.ac.at/o:1312543
rdau:P60550 (deu)
X, 314 S. : Ill.
Number of pages
324
Association (deu)
Title (eng)
Computers and the ability to see
understanding the negotiation and implementation of image processing algorithms
Author
Christoph Musik
Abstract (deu)
Alle Versuche, Maschinen und Computern die Fähigkeit des Sehen beizubringen, sind Versuche, digitale Bilder herzustellen, zu bearbeiten und vor allem ihre Inhalte zu verstehen. Zu diesem Zweck ist es zwingend notwendig, Bildverarbeitungsalgorithmen zu entwickeln und anzuwenden. Bildverarbeitungsalgorithmen werden zu einflussreichen politischen und gesellschaftlichen Akteuren und Entscheidungsträgern. Deshalb ist es wichtig, ein tiefgehendes Verständnis davon zu erreichen, wie genau diese Algorithmen Bilder erzeugen, bearbeiten und vor allem semantisch interpretieren.
“Computers and the Ability to See” basiert auf einem interdisziplinärem Zugang, welcher die akademischen Felder der Wissenschafts- und Technikforschung (STS), der visuellen Kulturstudien und der Überwachungs- und Identifizierungsstudien verbindet. Es ist insbesondere inspiriert von Lucy Suchmans Arbeit zu ‘Human-Machine Reconfigurations’ (Suchman 2007) und dem visuellen STS Zugang der ‘Social Studies of Scientific Imaging and Visualization’ (Burri & Dumit 2008). Die Dissertation schreibt sich somit in die theoretischen Rahmen des (feministischen) Posthumanismus und der materiellen Semiotik ein. Damit verbunden ist die Entscheidung, die konkreten Praktiken von nichtmenschlichen Entitäten und ihren spezifischen Handlungsfähigkeiten empirisch zu untersuchen (vgl. (Suchman 2007: 1).
Die empirische Analyse von Bildverarbeitungsalgorithmen bettet sich ein in die grundlegenden soziotechnischen Transformationsprozesse, die mit den Begriffen Überwachungsgesellschaft (hier insbesondere das Phänomen der “intelligenten” Videoüberwachung), Digitalisierung, Automatisierung und “Smartisierung” von gesellschaftlichen Praktiken, Artefakten und Geräten zusammengefasst werden können. Auf dieser Grundlage erforschte die Dissertation Mensch-Computer (Re-)Konfigurationen, indem sie die Ausverhandlung und Entwicklung mit Fokus auf die politische und gesellschaftliche Signifikanz von Bildverarbeitungsalgorithmen in unterschiedlichen Situationen und Umgebungen von den Laboren der Bildverarbeitung bis hin zu den Medien in den Blick nahm. Die Forschung folgte unter Einbeziehung eines breiten Methodenspektrums der qualitativen Sozialforschung (Teilnehmende Beobachtung, Gruppendiskussionen, Interviews, Dokumentenanalyse) einer ‘visiographischen’ Strategie und entwickelt darauf aufbauend in den Schlussfolgerungen den konzeptuellen Reflektionsrahmen der “Social Studies of Image Processing Algorithms” (SIPA). Dadurch leistet die Arbeit einen wichtigen Beitrag zu der Frage, wie Gesellschaft und Wissenschaft mit Bildverarbeitungsalgorithmen in ihrer Funktion als ‘politische Ordnungsapparate’ in einem verantwortlichen Weg der Innovation umgehen können. Dabei ermutigt SIPA explizit die Zusammenarbeit von Sozial- und ComputerwissenschaftlerInnen sowie die Einbeziehung weiterer gesellschaftlicher Akteure wie zum Beispiel KünstlerInnen. SIPA beinhaltet also auch Fragen und Ebenen, die sich mit der Steuerung, Regulierung und mit ethischen, rechtlichen und gesellschaftlichen Aspekten von Bildverarbeitungsalgorithmen auseinandersetzen.
Abstract (eng)
It is a basic requirement of all attempts to configure machines and computers with the ability to see, that these are in fact, attempts to produce, process and understand digital images by means of computer algorithms. Those becoming powerful social actors and decision makers, it is important to understand exactly, the production, processing, and interpretation of digital images by algorithms where the semantic interpretation element is central.
“Computers and the Ability to See” is based on an interdisciplinary, multiperspective approach that is framed by the academic fields of Science and Technology Studies (STS), Visual Culture Studies and Surveillance & Identification Studies. It especially is inspired by Lucy Suchman’s work on ‘Human-Machine Reconfigurations’ (Suchman 2007) and the Visual STS approach of the ‘Social Studies of Scientific Imaging and Visualization’ (Burri & Dumit 2008). This links to what could be summarised as the theoretical frames of (feminist) post-humanism and material-semiotics, and connected to it, to the commitment “to empirical investigations of the concrete practices” of nonhuman entities and their specific agencies (Suchman 2007: 1).
The most relevant sociotechnical transformation processes that framed the empirical analysis with computer vision and more specifically with Image Processing Algorithms (IPAs) are what could be condensed in the “grand narrative” (cf. Law 2008: 629) terms of surveillance society (especially what often is referred to as Smart CCTV or intelligent video surveillance) as well as the digitalisation, automatisation, and “smartisation” of social practices, artefacts and devices. On these grounds, the thesis explored ‘Human-Computer Vision (Re-) Configurations’ by analysing the negotiation and the development, and by focusing on the political and social significance of Image Processing Algorithms in different sites from the computer vision laboratory to the news media. In doing so, the research followed a ‘visiographic’ strategy that applied a wide array of qualitative methods (participant observation, group discussions, interviews, document analysis).
In the conclusions the thesis discusses the question how societies and the sciences could deal with the ‘political ordering devices’ IPAs in a responsible and reflective way of innovation. In this regard it suggests the “Social Studies of Image Processing Algorithms” (SIPA), a conceptual and reflective framework for the further development and analysis of IPAs, encouraging social scientists, artists and computer scientists to reflect and work together in the specific research and innovation field, but also the business field of computer vision. The SIPA scheme also covers questions of governance, regulation, and ELSA (ethical, legal, and social aspects).
Keywords (eng)
Image Processing AlgorithmsComputer VisionMachine VisionAutomatisationSmartisationface reognitionbehaviour pattern analysissuveillance
Keywords (deu)
BildverarbeitungsalgorithmenComputersehenMaschinensehenAutomatisierungInformatisierungSmartisierungGesichtserkennungVerhaltensmustererkennungÜberwachung
Subject (deu)
Type (deu)
Persistent identifier
https://phaidra.univie.ac.at/o:1312544
Number of pages
324
Association (deu)
License
Citable links
Other links
Managed by
Details
Metadata
Export formats
Universitätsring 1, 1010 Wien | T
T +43-1-4277-0