El potencial de las redes basadas en la API Google Vision para el estudio de imágenes digitales nativas

Barra lateral del artículo

PDF (English) (English) PDF (Español) Fig. 11 a1 (English) Fig. 11 a2 (English)
Publicado: sep 1, 2021
DOI: https://doi.org/10.7764/disena.19.Article.1
Palabras clave:
Análisis de imágenes, Redes, Métodos digitales, Metodologías visuales, Visión artificial Image analysis, Networks, Digital methods, Visual methodologies, Computer vision

Contenido principal del artículo

Janna Joceli Omena
Center for Advanced Internet Studies (CAIS)
Pilipets Elena
Universität Klagenfurt, Departamento de Medios y Comunicaciones
Beatrice Gobbo
Politecnico di Milano, DensityDesign Lab
Chao Jason
Universität Siegen, Centro Colaborativo de Investigación “Medios de Cooperación”

Resumen

En este artículo presentamos los potencia­les de las redes basadas en la API Google Vision para el estudio de las imágenes en lí­nea, abordando tres modalidades importan­tes como parte de una metodología visual crítica: el contenido de la propia imagen, su forma específica de “audienciación” a través de referencias web (o metadatos de la ima­gen) y los sitios de circulación de la imagen. En primer lugar, definimos conceptual y técnicamente diferentes redes construidas a partir de ciertas características de visión artificial: imagen-etiqueta, imagen-entidades web e imagen-dominio. En segundo lugar, presentamos un diagrama de protocolo de investigación que ilustra cómo construir redes de imágenes con sus respectivas des­cripciones o sitios de circulación. En tercer lugar, discutimos las potencialidades de las redes de visión artificial como dispositivos de investigación, enfatizando sus (trans) formaciones relacionales de datos y sus especificidades interpretativas. Se presen­tarán tres diferentes estudios de caso como ejemplo. En conclusión, sostenemos que una metodología visual de este tipo requiere prácticas técnicas críticas que tengan en cuenta las múltiples capas de mediación técnica que están involucradas.


Detalles del artículo

Cómo citar
Omena, J. J., Elena , P., Gobbo, B. ., & Jason , C. (2021). El potencial de las redes basadas en la API Google Vision para el estudio de imágenes digitales nativas. Diseña, (19), Article.1. https://doi.org/10.7764/disena.19.Article.1
Número
Núm. 19 (2021): Métodos visuales para imágenes en línea: recolección, circulación y co-creación con máquinas
Sección
Artículos originales

Licencia de Creative Commons
Este obra está bajo una licencia de Creative Commons Reconocimiento-CompartirIgual 4.0 Internacional.

NOTA DE COPYRIGHT

Todos los contenidos de esta edición electrónica se distribuyen bajo licencia Creative Commons de “Atribución-Copartirigual 4.0 Internacional” (CC-BY-SA). Cualquier reproducción total o parcial del material deberá citar su procedencia.

Los derechos de las imágenes publicadas pertenecen a sus autores, quienes otorgan a Diseña la licencia para su uso. La gestión de los permisos y la autorización de publicación de las imágenes (o de cualquier material) que contenga derechos de autor y sus consecuentes derechos de reproducción en esta publicación es de exclusiva responsabilidad de los autores de los artículos.

Biografía del autor/a

Janna Joceli Omena, Center for Advanced Internet Studies (CAIS)

Máster en Cultura Contem­poránea y Nuevas Tecnologías, Universidade NOVA de Lisboa. Becaria de investigación en el Center for Advanced Internet Studies (CAIS). Es miembro del iNOVA Media Lab y del Public Data Lab. Su investigación se centra en los métodos digitales, los estudios de redes digitales y la “tecnicidad de los medios” para apoyar la investigación social y de medios. Es editora de Métodos Digitais: Teo­ria-Prática-Crítica (ICNOVA, 2019) y coordinadora del SMART Data Sprint. Algunas de sus últimas publicaciones son: “Digital Methods for Hashtag Engagement Research” (con E.T. Rabello y A.G. Mintz; Social Media + Society, vol. 6, n° 3) y “Call into the Platform! (con A. Granado; Icono14, vol. 18, n° 1).

Pilipets Elena , Universität Klagenfurt, Departamento de Medios y Comunicaciones

Doctora en Ciencias de la Comuni­cación, Universität Klagenfurt. Investigadora post­doctoral en el Departamento de Medios y Comunica­ciones de la Universität Klagenfurt e investigadora SMART (Social Media Research Techniques) en el iNOVA Media Lab de la Universidade NOVA de Lis­boa. Sus intereses docentes y de investigación están relacionados con los estudios culturales de los me­dios de comunicación, la investigación en Internet y los métodos digitales. Es la actual titular del 2020 Carinthian Award for Young Social Sciences and Humanities Scholars. Entre sus publicaciones más recientes figuran “Nipples, Memes, and Algorithmic Failure: NSFW Critique of Tumblr Censorship” (con S. Paasonen; New Media & Society, 1ª publicación, 2020) y “Digitale Medien und Methoden. Über den methodischen Umgang mit visuellen Plattformin­halten und Internet-Memes“ (Open-Media-Stu­dies-Blog der Zeitschrift für Medienwissenschaft).

Beatrice Gobbo, Politecnico di Milano, DensityDesign Lab

Máster en Diseño de la Comunica­ción, Politecnico di Milano. Estudiante de doctorado en Diseño en el Politecnico di Milano. Es miembro del DensityDesign Lab, grupo de investigación centrado en la visualización y el diseño de informa­ción. Su investigación actual se centra en el papel del diseño de comunicación y la visualización de información en el campo de la inteligencia artificial explicable. Entre sus publicaciones recientes se incluyen: “Research Protocol Diagrams as Didactic Tools to Act Critically in Dataset Design Processes” (con M. Mauri, M. A. Briones y G. Colombo; en INTED2020 Proceedings) y “Explaining AI through Critical Reflection Artifacts. On the Role of Commu­nication Design within XAI” (en T. Reis, M.X. Borns­chlegl, M. Angelini y M.L. Hemmje, eds.; Advanced Visual Interfaces. Supporting Artificial Intelligence and Big Data Applications; Springer, 2020).

Chao Jason , Universität Siegen, Centro Colaborativo de Investigación “Medios de Cooperación”

Máster en Big Data y Futuros Digi­tales, University of Warwick. Máster en Derechos Humanos, University of London. Es investigador y candidato a doctor en la Universität Siegen. Su investigación actual se centra en el desarrollo de herramientas de métodos digitales para el estudio de sensores de medios. Cuenta con experiencia en el desarrollo de software y en la defensa de los derechos humanos. Algunos de los softwares de investigación que ha desarrollado recientemen­te son AppTraffic, para el estudio del tráfico de red de las aplicaciones móviles; y Offline Image Query and Extraction Tool (con J. J. Omena).

Citas

Azar, M., Cox, G., & Impett, L. (2021). Introduction: Ways of Machine Seeing. AI & Society. https://doi.org/10.1007/s00146-020-01124-6

Barreto, M. L., Barral-Netto, M., Stabeli, R., Almeida-Filho, N., Vasconcelos, P. F. C., Teixeira, M., Buss, P., & Gadelha, P. E. (2016). Zika Virus and Microcephaly in Brazil: A Scientific Agenda. The Lancet, 387(10022), 919–921. https://doi.org/10.1016/S0140-6736(16)00545-6

Bastian, M., Heymann, S., & Jacomy, M. (2009). Gephi: An Open Source Software for Exploring and Manipulating Networks. Proceedings of the International AAAI Conference on Web and Social Media, 3(1), 361–362. https://doi.org/10.1136/qshc.2004.010033

Berners-Lee, T. (1995). Hypertext and Our Collective Destiny [Video]. 1995 Vannevar Bush Symposium - Videos and Links - Doug Engelbart Institute. Retrieved September 20, 2020, from https://www.dougengelbart.org/content/view/258/000/

Chao, J. (2021). Memespector GUI: Graphical User Interface Client for Computer Vision APIs [Computer Software] (Version 0.1) [C#] (Original work published 2021). https://github.com/jason-chao/memespector-gui

Colombo, G. (2018). The Design of Composite Images. Displaying Digital Visual Content for Social Research [Doctoral Dissertation, Politecnico di Milano]. http://hdl.handle.net/10589/141266

d’Andréa, C., & Mintz, A. (2019). Studying the Live Cross-Platform Circulation of Images with Computer Vision API: An Experiment Based on a Sports Media Event. International Journal of Communication, 13, 1825–1845.

Garimella, K., & Eckles, D. (2020). Images and Misinformation in Political Groups: Evidence from WhatsApp in India. Harvard Kennedy School Misinformation Review, 1(5). https://doi.org/10.37016/mr-2020-030

Geboers, M. A., & Van De Wiele, C. T. (2020). Machine Vision and Social Media Images: Why Hashtags Matter. Social Media + Society, 6(2), 2056305120928485. https://doi.org/10.1177/2056305120928485

Gebru, T., Morgenstern, J., Vecchione, B., Vaughan, J. W., Wallach, H., Daumé III, H., & Crawford, K. (2020). Datasheets for Datasets. ArXiv, 1803.09010 [cs].

Gerlitz, C., & Rieder, B. (2018). Tweets Are Not Created Equal: Investigating Twitter’s Client Ecosystem. International Journal of Communication, 12. https://hdl.handle.net/11245.1/4da1d406-1213-4103-8237-eef5ae786948

Gibbs, M., Meese, J., Arnold, M., Nansen, B., & Carter, M. (2015). #Funeral and Instagram: Death, Social Media, and Platform Vernacular. Information, Communication & Society, 18(3), 255–268. https://doi.org/10.1080/1369118X.2014.987152

Google Cloud. (2017, April 13). Pricing | Google Cloud Vision API Documentation. Wayback Machine. https://web.archive.org/web/20170413081619/https://cloud.google.com/vision/docs/pricing

Google User Content. (2020). General Guidelines. https://static.googleusercontent.com/media/guidelines.raterhub.com/pt-BR//searchqualityevaluatorguidelines.pdf

Hochman, N. (2014). The Social Media Image. Big Data & Society, 1(2), 2053951714546645. https://doi.org/10.1177/2053951714546645

Hoelzl, I., & Marie, R. (2015). Softimage: Towards a New Theory of the Digital Image. Intellect.

Jacomy, M. (2013). Table 2 Net [Computer Software]. https://medialab.github.io/table2net/

Jacomy, M. (2019). The Web as Layers [Video]. HYPHE - Session 4. https://panopto.aau.dk/Panopto/Pages/Viewer.aspx?id=48cfe5ff-5503-431b-887f-ab53007ef5c4

Jacomy, M. (2021). Situating Visual Network Analysis [Doctoral Dissertation, Aalborg University]. https://reticular.hypotheses.org/1879

Jacomy, M., Venturini, T., Heymann, S., & Bastian, M. (2014). ForceAtlas2, a Continuous Graph Layout Algorithm for Handy Network Visualization Designed for the Gephi Software. PLOS ONE, 9(6), e98679. https://doi.org/10.1371/journal.pone.0098679

Leetaru, K. (2019, June 1). Using Google Vision AI’s Reverse Image Search To Richly Catalog Television News. Forbes. https://www.forbes.com/sites/kalevleetaru/2019/06/01/using-google-vision-ais-reverse-image-search-to-richly-catalog-television-news/

MacKenzie, A., & Munster, A. (2019). Platform Seeing: Image Ensembles and their Invisualities. Theory, Culture & Society, 36(5), 3–22. https://doi.org/10.1177/0263276419847508

Manovich, L. (2020). Cultural Analytics. MIT Press.

Mauri, M., Briones, M. A., Gobbo, B., & Colombo, G. (2020). Research Protocol Diagrams as Didactic Tools to Act Critically in Dataset Design Processes. INTED2020 Proceedings, 9034–9043. https://library.iated.org/view/MAURI2020RES

Mintz, A., Silva, T., Gobbo, B., Pilipets, E., Azhar, H., Takamitsu, H., Omena, J. J., & Oliveira, T. (2019). Interrogating Vision APIs. #SMARTDataSprint. https://smart.inovamedialab.org/past-editions/smart-2019/project-reports/interrogating-vision-apis/

Niederer, S., & Colombo, G. (2019). Visual Methodologies for Networked Images: Designing Visualizations for Collaborative Research, Cross-platform Analysis, and Public Participation. Diseña, (14), 40–67. https://doi.org/10.7764/disena.14.40-67

Omena, J. J. (in press). Digital Methods and Technicity-of-the-Mediums. From Regimes of Functioning to Digital Research [Doctoral Dissertation]. Universidade NOVA de Lisboa.

Omena, J. J., & Amaral, I. (2019). Sistema de leitura de redes digitais multiplataforma. In J. J. Omena (Ed.), Métodos Digitais: Teoria‐prática‐crítica (pp. 121–140). ICNOVA.

Omena, J. J., & Granado, A. (2020). Call into the Platform! Revista ICONO14 Revista Científica de Comunicación y Tecnologías emergentes, 18(1), 89–122. https://doi.org/10.7195/ri14.v18i1.1436

Omena, J. J., Rabello, E. T., & Mintz, A. G. (2020). Digital Methods for Hashtag Engagement Research. Social Media + Society, 6(3), 2056305120940697. https://doi.org/10.1177/2056305120940697

Paglen, T. (2014, March 13). Seeing Machines. Is Photography Over? Fotomuseum Winterthur Series. https://www.fotomuseum.ch/en/2014/03/13/seeing-machines/

Parikka, J., & Dvořák, T. (2021). Introduction: On the Scale, Quantity and Measure of Images. In T. Dvořák & J. Parikka (Eds.), Photography Off the Scale: Technologies and Theories of the Mass Image (pp. 1–24). Edinburgh University Press.

Pearce, W., Özkula, S. M., Greene, A. K., Teeling, L., Bansard, J. S., Omena, J. J., & Rabello, E. T. (2020). Visual Cross-platform Analysis: Digital Methods to Research Social Media Images. Information, Communication & Society, 23(2), 161–180. https://doi.org/10.1080/1369118X.2018.1486871

Pilipets, E., Flores, A. M. M., Flaim, G., Skazedonig, M., Sepúlveda, R., & Del Nero, S. (2020). From “Tumblr Purge” to “Female Nipples”: Telling a Story of Platform Censorship Critique through Memes and Digital Methods. #SMARTDataSprint. https://smart.inovamedialab.org/2020-digital-methods/project-reports/tumblr-purge-female-nipples/

Pilipets, E., & Paasonen, S. (2020). Nipples, Memes, and Algorithmic Failure: NSFW Critique of Tumblr Censorship. New Media & Society, 1461444820979280. https://doi.org/10.1177/1461444820979280

Rettberg, J. W. (2020). Situated Data Analysis: A New Method for Analysing Encoded Power Relationships in Social Media Platforms and Apps. Humanities and Social Sciences Communications, 7, Art. 5. https://doi.org/10.1057/s41599-020-0495-3

Ricci, D., Colombo, G., Meunier, A., & Brilli, A. (2017). Designing Digital Methods to Monitor and Inform Urban Policy: The Case of Paris and its Urban Nature Initiative. International Conference on Public Policy (ICPP3). https://hal.archives-ouvertes.fr/hal-01903809

Rieder, B. (2015). YouTube Data Tools [Computer Software] (Version 1.11). https://tools.digitalmethods.net/netvizz/youtube/

Rieder, B. (2020). Engines of Order: A Mechanology of Algorithmic Techniques. Amsterdam University Press.

Rieder, B., & Röhle, T. (2018). Digital Methods: From Challenges to Bildung. In M. T. Schäfer & K. van Es (Eds.), The Datafied Society: Studying Culture through Data (pp. 109–124). Amsterdam University Press. https://doi.org/10.1515/9789048531011-010

Robinson, S. (2017, June 1). Exploring the Cloud Vision API. Medium. https://medium.com/@srobtweets/exploring-the-cloud-vision-api-1af9bcf080b8

Rogers, R. (2013). Digital Methods. MIT Press.

Rogers, R. (2019). Doing Digital Methods. SAGE.

Rose, G. (2016). Visual Methodologies (4th ed.). Open University.

Rubinstein, D., & Sluis, K. (2013). Concerning the Undecidability of the Digital Image. Photographies, 6(1), 151–158. https://doi.org/10.1080/17540763.2013.788848

Schwemmer, C., Knight, C., Bello-Pardo, E. D., Oklobdzija, S., Schoonvelde, M., & Lockhart, J. W. (2020). Diagnosing Gender Bias in Image Recognition Systems. Socius, 6, 2378023120967171. https://doi.org/10.1177/2378023120967171

Silva, T., Barciela, P., & Meirelles, P. (2018). Mapeando Imagens de Desinformação e Fake News Político-Eleitorais com Inteligência Artificial. 3o CONEC: Congresso Nacional de Estudos Comunicacionais Da PUC Minas Poços de Caldas - Convergência e Monitoramento, 413–427. https://www.researchgate.net/publication/329525177_Mapeando_Imagens_de_Desinformacao_e_Fake_News_Politico-Eleitorais_com_Inteligencia_Artificial

Silva, T., Mintz, A., Omena, J. J., Gobbo, B., Oliveira, T., Takamitsu, H. T., Pilipets, E., & Azhar, H. (2020). APIs de Visão Computacional: Investigando mediações algorítmicas a partir de estudo de bancos de imagens. Logos, 27(1), 25–54. https://doi.org/10.12957/logos.2020.51523

Steyerl, H. (2009). In Defense of the Poor Image. E-Flux Journal, 10. https://www.e-flux.com/journal/10/61362/in-defense-of-the-poor-image/

Sullivan, D. (2020, May 20). A Reintroduction to our Knowledge Graph and Knowledge Panels. Blog.Google. https://blog.google/products/search/about-knowledge-graph-and-knowledge-panels/

Szeliski, R. (2021). Computer Vision: Algorithms and Applications (2nd ed.). Springer.

Taibi, D., Rogers, R., Marenzi, I., Nejdl, W., Ahmad, Q. A. I., & Fulantelli, G. (2016). Search as Research Practices on the Web: The Sar-web Platform for Cross-language Engine Results Analysis. Proceedings of the 8th ACM Conference on Web Science, 367–369. https://doi.org/10.1145/2908131.2908201

Tumblr. (2018, December). Updates to Tumblr’s Community Guidelines [Tumblr]. Tumblr Support. https://support.tumblr.com/post/180758979032/updates-to-tumblrs-community-guidelines

Venturini, T., Jacomy, M., & Jensen, P. (2019). What Do We See When We Look at Networks. An Introduction to Visual Network Analysis and Force-Directed Layouts (SSRN Scholarly Paper ID 3378438). Social Science Research Network. https://doi.org/10.2139/ssrn.3378438

Venturini, T., Jacomy, M., & Pereira, D. (2015). Visual Network Analysis: The Example of the Rio+20 Online Debate. https://hal.archives-ouvertes.fr/hal-02305124

Xi, N., Ma, D., Liou, M., Steinert-Threlkeld, Z. C., Anastasopoulos, J., & Joo, J. (2020). Understanding the Political Ideology of Legislators from Social Media Images. Proceedings of the 14th International AAAI Conference on Web and Social Media, ICWSM 2020, 726–737. http://arxiv.org/abs/1907.09594