Mitigating Bias in Machine Learning
A Socio-technical Analysis
DOI:
https://doi.org/10.5753/isys.2022.2396Keywords:
Bias, Machine Learning, Algorithm biasAbstract
This work presents a socio-technical analysis of biases included in the machine learning process. We describe in this work four types of biases: historical bias, data bias, model bias, and human interpretation bias, and how they can occur during the learning process, together with their social and cultural implications. We also bring strategies to mitigate those biases, including computation solutions, such as balancing the data used for the training and alternative metrics for the model evaluation, non-computational solutions, regulatory efforts, and initiatives to promote diversity in the tech industry and academy.
Downloads
References
Akotirene, C. (2018). O que é interseccionalidade? Belo Horizonte: Letramento.
Almeida, S. (2019). Racismo estrutural. Pólen Produção Editorial LTDA.
Arrieta, A. B., Díaz-Rodríguez, N., Del Ser, J., Bennetot, A., Tabik, S., Barbado, A., García, S., Gil-López, S., Molina, D., Benjamins, R., et al. (2020). Explainable artificial intelligence (xai): Concepts, taxonomies, opportunities and challenges toward responsible ai. Information Fusion, 58:82–115.
Bellamy, R. K., Dey, K., Hind, M., Hoffman, S. C., Houde, S., Kannan, K., Lohia, P., Martino, J., Mehta, S., Mojsilovic, A., et al. (2018). AI Fair-ness 360: An extensible toolkit for detecting, understanding, and mitigating unwanted algorithmic bias. arXiv preprint arXiv:1810.01943.
Broussard, M. (2018). Machine learning: The DL on ML. In Artificial Unintelligence: How Computers Misunderstand the World. MIT Press.
Buolamwini, J. e Gebru, T. (2018). Gender shades: Inter-sectional accuracy disparities in commercial gender classification. In Conference on Fairness, Accountability, and Transparency, pages 77–91.
Burkov, A. (2019). The hundred-page machine learning book, volume 1. Andriy Burkov Canada.
Carneiro, S. (2003). Mulheres em movimento. Estudos avançados, 17:117–133.
Carrera, F. (2020). A raça e o gênero da estética e dos afetos: algoritmização do racismo e do sexismo em bancos contemporâneos de imagens digitais. MATRIZes, 14(2):217–240.
Carvalho, D. (2021). O legado do sistema colonial escravagista como base para a gênese do sistema capitalista no brasil: a persistência do racismo no cotidiano da população negra. Cadernos Cemarx, 14:e021006–e021006.
Carvalho, L. P., Oliveira, J., Santoro, F. M., e Cappelli, C. (2021). Social network analysis, ethics and lgpd, considerations in research. iSys - Brazilian Journal of Information Systems, 14(2):28–52.
Castelvecchi, D. (2020). Is facial recognition too biased to be let loose? Nature, 587(7834):347–349.
Caton, S. e Haas, C. (2020). Fairness in machine learning: A survey. arXiv preprint arXiv:2010.04053.
Collins, P. H. e Bilge, S. (2021). Interseccionalidade. Boitempo Editorial.
Cortiz, D. (2020). Inteligência artificial: equidade, justiça e consequências, 2020. link
Crenshaw, K. (2002). Documento para o encontro de specialists em aspectos da discriminação racial relativos ao gênero. Revista estudos feministas, 10:171–188.
D’Ignazio, C. e Klein, L. F. (2020). Data feminism. MIT press.
Fanon, F. (2008). Pele negra, máscaras brancas (r. silveira, trad.). Salvador, BA: EdUFBA.
Freeman, K. (2016). Algorithmic injustice: How the wisconsin supreme court failed to protect due process rights in state v. loomis. North Carolina Journal of Law & Technology, 18(5):75.
Geirhos, R., Jacobsen, J.-H., Michaelis, C., Zemel, R., Brendel, W., Bethge, M., e Wichmann, F. (2020). Shortcut learning in deep neural networks. Nature Machine Intelligence, 2:665–673.
Giddens, A. (2008). Sociologia. 6a. edição. Tradução: Alexandra Figueiredo, Ana Patrícia Duarte Baltazar, Catarina Lorga da Silva, Patrícia Matos, Vasco Gil. Fundação Calouste Gulbenkian.
Gonzalez, L. (2018). Primavera para as rosas negras: Lélia Gonzalez em primeira pessoa. Editora Filhos da África.
Hall, S. (2016). Cultura e representação. PUC-Rio: Apicuri.
Henriques, T. S. (2018). A concepção sociotécnica quatro perspectivas francesas sobre a articulação entre tecnologia e sociedade. Revista Habitus, 16(2).
Herman, W. H. e Cohen, R. M. (2012). Racial and ethnic differences in the relationship between hba1c and blood glucose: implications for the diagnosis of diabetes. The Journal of Clinical Endocrinology & Metabolism, 97(4):1067–1072.
Karkkainen, K. e Joo, J. (2021). Fairface: Face attribute dataset for balanced race, gender, and age for bias measurement and mitigation. In IEEE/CVF Winter Conference on Applications of Computer Vision, pages 1548–1558.
Kilomba, G. (2020). Memórias da plantação: episódios de racismo cotidiano. Editora Cobogó.
Lorena, A., Faceli, K., Almeida, T., de Carvalho, A., e Gama, J. (2021). Inteligência Artificial: uma abordagem de Aprendizado de Máquina (2a edição).
Maybin, S. (2016). Sistema de algoritmo que determina pena de condenados cria polêmica nos eua. BBC News, São Paulo, out.
Mehrabi, N., Morstatter, F., Saxena, N., Lerman, K., e Galstyan, A. (2021). A survey on bias and fairness in machine learning. ACM Computing Surveys, 54(6).
Mitchell, T. M. (1997). Machine learning. Burr Ridge, IL: McGraw Hill, 45(37):870–877.
Murphy, K. P. (2022). Probabilistic Machine Learning: An introduction. MIT Press.
Nascimento, L. F. (2020). Sociologia digital: uma breve introdução. Salvador: EDUFBA.
Noble, S. U. (2022). Algoritmos da Opressão: Como os mecanismos de busca reforçam o racismo. Editora Rua do Sabão.
Osoba, O. A. e Welser IV, W. (2017). An intelligence in our image: The risks of bias and errors in artificial intelligence. Rand Corporation.
O’Neil, C. (2020). Algoritmos de destruição em massa: como o big data aumenta a desigualdade e ameaça a democracia. Tradução Rafael Abrahan. Santo André, SP: Editora Rua do Sabão.
Petukhov, I. e Steshina, L. (2018). Decision-making problems in sociotechnical systems. Management of Information Systems.
Raghavan, M., Barocas, S., Kleinberg, J., e Levy, K. (2020). Mitigating bias in algorithmic hiring: Evaluating claims and practices. In Conference on Fairness, Accountability, and Transparency, page 469–481.
Raji, I. D., Gebru, T., Mitchell, M., Buolamwini, J., Lee, J., e Denton, E. (2020). Saving face: Investigating the ethical concerns of facial recognition auditing. In AAAI/ACM Conference on AI, Ethics, and Society, pages 145–151.
Raschka, S. (2015). Python machine learning. Packt publishing ltd.
Ribeiro, D. (2018). Quem tem medo do feminismo negro? Editora Companhia das Letras.
Rosa, A., Pessoa, S. A., e Lima, F. S. (2020). Neutralidade tecnológica: reconhecimento facial e racismo. REVISTA V!RUS, 21. link.
Ruback, L., Avila, S., e Cantero, L. (2021). Vieses no aprendizado de máquina e suas implicações sociais: Um estudo de caso no reconhecimento facial. In Anais do II Workshop sobre as Implicações da Computação na Sociedade, pages 90–101. SBC.
Saffioti, H. I. B. (2004). Gênero, patriarcado, violência. In Gênero, patriarcado, violência, pages 151–151.
Silva, T. (2020). Comunidades, algoritmos e ativismos digitais: Olhares afrodiaspóricos. LiteraRua.
Suresh, H. e Guttag, J. V. (2019). A framework for understanding unintended consequences of machine learning. arXiv preprint arXiv:1901.10002, 2.
Tavares, M. (2021). Plataforma usa inteligência artificial para conseguir 'match' entre vaga de emprego e candidato. link.
Tecs USP (2018). Inteligências artificiais, preconceitos reais. link
Tomalin, M., Byrne, B., Concannon, S., Saunders, D., e Ullmann, S. (2021). The practical ethics of bias reduction in machine translation: Why domain adaptation is better than data debiasing. Ethics and Information Technology, pages 1–15.
Verma, S. e Rubin, J. (2018). Fairness definitions explained. In International Workshop on Software Fairness (FairWare), pages 1–7.
Vigen, T. (2015). Spurious correlations. Hachette UK.
Vilarino, R. e Vicente, R. (2020). Dissecting racial bias in a credit scoring system experimentally developed for the brazilian population. arXiv preprint arXiv:2011.09865.
Washington, A. L. (2018). How to argue with an algorithm: Lessons from the COMPAS-ProPublica debate. Colo. Tech. LJ, 17:131.
Zuboff, S. e Bruno, F. (2018). Tecnopolíicas da vigilância: Perspectivas da margem. Organização de Fernanda Bruno et al. Tradução de Heloísa Cardoso Mourão et al. 1ª. ed. São Paulo: Boitempo.
