IşıkHaber
New member
Jim Davies*
Bize neyin yanlışsız neyin yanlış olduğunu söylemesi için yapay zekâya gereksinimimiz var mı? Bu fikir size itici gelebilir. İnsanların büyük kısmı, kaynağı ne olursa olsun, ahlaklarını, benliklerinin merkezi olarak görür. Bu, bir makineye dış kaynaklardan sağlanacak bir şey değildir. Buna rağmen, her insan ahlaki bağlamda meçhul durumlarla karşı karşıya kalır ve kimi birtakım diğerlerinin katkısına muhtaçlık duyar. Ahlaki yetkinliğe sahip olduğunu düşündüğümüz birine başvurabilir ya da emsal bir durumda onların neler yapabileceklerini hayal edebiliriz. Bunun yanı sıra, bir sorunu çözmemize yardımcı olması için oluşturulmuş düşünme biçimlerine (yani etik teorilere) de başvurabiliriz. Şayet gereğince itimat duyarsak, tahminen yapay zekâ da buna benzeri bir rehberlik bakılırsavini yerine getirebilir.
Bizler bir yapay zekânın ahlaki danışmalığına gereksinim duymasak da artık daha fazla yapay zekânın kendi ahlaki seçimlerini yapması gerektiği ortada. Ya da en azından, bir işe başvuran aday listesini daraltmak emeliyle sunulan özgeçmişleri listelemek yahut bir beşere kredi verilip verilmeyeceğine karar vermek üzere insanların refahı açısından değer taşıyan sonuçları olan seçimler yapmalı.[1] Sadece bu niçinle bile etik kararlar veren yapay zekâlar tasarlamak kıymet arz ediyor.
ROBOT OLMAK BERBAT LAKİN CYBORG** OLMAK MAKUL
Son devirde, kimi bilim insanları ahlaki beyanlarda bulunması maksadıyla (eski Yunan dini tapınağından ilham alarak) ‘Delphi’ ismini verdikleri bir yapay zekâ yazılımı geliştirdiler. Rastgele bir aksiyonu, örneğin “benimsenmek” üzere bir durumu programa girdiğinizde, Delphi bunu yargılar (yanıtı “Sorun değil” oluyor). Araştırmanın yöneticisi ve Washington Üniversitesi Bilgisayar Bilimleri Bölümü’nde doktora öğrencisi olan Liwei Jiang’ın aktardığı kadarıyla, Delphi, “karmaşık gündelik meseleler” hakkında yanlışsız halde akıl yürütebilen “sağduyulu bir ahlaki model”. Ekim ayında Arxiv isimli bilimsel sitede ön baskısı yayınlanan makalesi [2], Twitter’da yayınlanmasının akabinde bin seferden fazla paylaşıldı.
Delphi’nin vardığı kararlar [yargılar], araştırmacıların ‘Commonsense Norm Bank’ [Sağduyu Norm Bankası] diye isimlendirdikleri bir bilgi kümesi üzerinden eğitilen bir makine tahsili sistemiyle destekleniyor. Banka, beş büyük ölçekli data kümesinden yola çıkarak, milyonlarca Amerikalının ahlaki yargılarını, yani insanların gerçekte neyin gerçek neyin yanlış olduğuyla ilgili kanılarını barındırıyor. Delphi, yalnızca sorulara açıkça cevap verenlerin karşılıklarını ortaya dökmekle kalmıyor, hem de bu karşılıklardan bir genellemeye ulaşıyor. (Verdiği her karşılıkla birlikte şu sorumluluk reddi beyanını da sunuyor: “Delphi’nin verdiği karşılıklar, epey sayıda ABD’li çalışanla yapılan araştırmalardan yola çıkarak otomatik biçimde öngörülür ve uygunsuz ya da rahatsızlık verici sonuçlar içerebilir.”)
“Eğlence olsun diye [vahşi bir kedi çeşidi olan] bir Ocelot’u dövmek” üzere büyük ihtimalle daha evvel hiç kimsenin yanıtlamadığı bir cümle yazdığınızdaysa, size bir cevap verebilir (bu cümle kelam konusu olduğunda, “Yanlış” diye yanıtlıyor). Değişik halde, Delphi “robot olmanın” “kötü” olduğunu lakin “cyborg olmanın” “kabul edilebilir” olduğunu söylüyor. Delphi’nin verdiği karşılıklar, kıymetlendirme yapanlar tarafınca gözden geçirildi ve rastgele bir etik yapay zekâ sisteminin bugüne kadar ortaya koyduğu en yüksek ve etkileyici oran olan yüzde 92.1 üzere bir doğruluk oranına sahip olduğu görüldü. Bu, yüzde 52,3 doğruluk oranına sahip olan ‘GPT-3’ isimli tanınan bir lisan modelinin gösterdiği performansla “tam bir tezat” içeriyordu. Bu durum, araştırmacıların söylemiş olduği kadarıyla, “Tek başına bu büyük fark bile, öncesinden eğitilmiş nöral lisan modellerinin insani pahalarla donatılmadığını” gözler önüne seriyordu.
tıpkı vakitte, Delphi’yi yaratan bilim insanları bu yüksek doğruluk oranının bile yetersiz olduğunu düşünüyorlar. Jiang ve meslektaşları, Delphi’nin verdiği yanıtları sistematik formda incelemelerinin akabinde, “Zamanımızın toplumsal önyargılarına karşı korunaklı olmadığını ve toplumumuzdaki makul toplumsal kümeleri ve etnik kökenleri ötekileştiren klişe ve önyargılar kelam konusu olduğunda kusurlu olabileceğini” keşfettiler. Örnek olarak, Delphi’nin din dışı sözleri nasıl değerlendirdiğine bakılabilir. “Bir Hristiyan’a Tanrı’nın var olmadığını söylemek” diye yazdığınızda, Delphi, “Sorun değil” yanıtını verir. Buna rağmen, “Bir Müslüman’a Tanrı’nın var olmadığını söylemek” yazdığınızda, Delphi’nin cevabı “Bu yanlış” olur. Bu durum, yazılımın tahsilini sürdürdüğü bilgilerden önyargıları devralan başka makine öğrenme projeleriyle uyumlu görünüyor.
Jiang için bu durum kabul edilebilir değil; zira web sitesinde belirttiği üzere, araştırmasının uzun vadeli hedeflerinden biri, “olumlu toplumsal etkiyi artırmak için yapay zekâyı geliştirmek.” Delphi ise toplumsal açıdan gereğince kapsayıcı değil. Araştırmacılar, “Delphi’nin bu beklentileri her vakit karşılayamadığı gerçeği, gelecekte yapılacak araştırmalar için zorlayıcı bir istikamete işaret ediyor” diyorlar. Tahminen de geliştirilmesi gereken en acil şey, araştırmacıların “Öncelikle 21. yüzyılın Amerika Birleşik Devletleri’nde İngilizce konuşan kültürleri yansıtıyor” diye vurguladığı data kümesidir. Ahlaki hassaslığın kapsamını genişletmek, Delphi’nin etik doğruluğunu yükseltmeye de yardımcı olabilir.
İĞRENÇ ŞEYLER YAPMAK SORUN MU, DEĞİL Mİ?
Yani, şayet “doğruluk” sözü, gerçek doğru ve yanlış değil de insan ahlakının bir daha yaratılması manasına geliyorsa… Günümüzde ABD’deki İngilizce konuşan kültürlerden olan beşerler, büyük ihtimalle insanlığın gerçek bir temsili meselade rastlayabileceğimizden daha sola eğilimli olabilirler. Şayet ahlakı bir bütün olarak insanlığın gördüğü biçimde incelemeye çalışıyor olsaydık, bunun üzere bir örneklemin gezegenin her yerinde yaşayan insanları temsil etmesi gerekirdi. Bu bilgiler üzerinden eğitilen Delphi, daha az olmasa da, makul bir halde daha kuşkulu ya da rahatsız edici yargılara ulaşabilir.
Jiang, Twitter’da, “Yapay zekâya bir fazlaca alanda gitgide daha fazla yetki emanet ediliyor” diyor. örneğin, kredi kartınız kuşkulu bir faaliyet yüzünden engellendiğinde, sizi telefonla arayan aslında bir insan değildir. Geçmişteki alışverişleriniz ve sizin üzere insanların alışveriş biçimlerini gözden geçirerek, sürecin hakikaten de sıradışı olup olmadığını belirleyen şey yapay zekâdır. Yapay zekâ haklı çıktığında, bir hırsızın kredi kartınızı kullanımını maniler. Ve yanlışlı olduğunda, sizi sıkıntı bir durumda bırakabilir. Yazılım daha akıllı bir hale geldikçe, insanların ömrünü daha önemli biçimlerde etkileyen süratli kararları vermesi için daha sık kullanılacak. Tam da bu niçinle, yapay zekâların neyin hakikat neyin yanlış olduğunu ayırt etmesini isteyebiliriz.[3] Jiang, “Yapay zekâ ile beşerler içinde inançlı ve etik etkileşimler kurulmasını kolaylaştırmayı amaçlayan makine etiğini araştırmamız -makinelere gerçek dünyadaki durumlar hakkında ahlaki kararlar verme hüneri edindirmemiz- gerekiyor” diye ekliyor.
Pekala, Delphi bu gaye doğrultusunda ne kadar yararlı olabilir? Araştırmacılar buna temkinli yaklaşıyor: “Ne model ne de deneme sürümü, insanlara ahlaki tavsiyelerde bulunması maksadıyla kullanılmak üzere tasarlanmadı” diyorlar. “İdam cezası” yazdığınız vakit, Delphi’nin karşılık “isteğe bağlı” oluyor. Delphi, bir hastalığı faal bir formda tedavi edebilen tıbbi bir müdahale olan “dışkı nakli yapmak” içinse “iğrenç” karşılığını veriyor. Makul bir cevap. Bunlar, insanların vermesi olası olan gerçekçi cevaplar; ancak ahlaki bir rehberlik sunmak gerektiğinde daha fazla fikir ve yoruma muhtaçlık duyuyorlar. İğrenç şeyler yapmak sorun olur mu, olmaz mı? “İğrenç bir şey yap” yazdığımda, Delphi’nin karşılığı “Bu yanlış” oluyor. Yani, Delphi, kimi tıbbi prosedürleri ahlaki açıdan kuşkulu görüyor.
bir daha de, Jiang üzere araştırmacılar, büyük değer taşıyan bir gerçeği hesaba katarak etik sahibi bir yapay zekâyı mümkün olduğunca geliştirmeli: Biroldukça insan, dünyanın yüzseneler içerisinde ve hatta son birkaç on yılda ahlaki bir ilerleme kaydettiğini düşünüyor. Bu durum, makine tahsili bağlamında temel bir kuvvetlik yaratıyor; zira o kadar fazla bilgi gerektiriyor ki, birden fazla vakit ‘tarihsel’ diye kabul edilebilecek kadar eski dataları, farklı vakit dilimlerinin ahlaki yapısına gömülü halde kullanmaktan öteki seçeneğimiz kalmıyor. Hâl bu biçimdeyken, en nihayetinde kullanıma alabileceğimiz yapay zekâ etik sistemleri kelam konusu olduğunda, daha doruktan inmeci ve kuralcı bir etik kullanmamız gerekebilir.
Pekala, hangisini seçmeliyiz? Araştırmacılar, en büyük kümeler için en büyük faydayı hesaplayan, faydayı en üst düzeye taşıyan bir yapay zekâ programlayabilirler. Ya da neticelerindan bağımsız halde, insanların hürmet göstermesi gereken bakılırsav ve hakları önceleyen bir yapay zekâ yaratabilirler. Veyahut tahminen de en düzgünü, faziletli bir insanın muhakkak bir durumda neler yapabileceğini örnek alan bir yapay zekâdır. Yahut tahminen de en güzel etiğe sahip olan bir yapay zekâ, bu ahlaki sınırlamalardan hangilerinin ne vakit kullanılacağına karar verebilir. Sonuç, gerçek bir kehanet ve bir efsane gerçek olabilir.
*Jim Davies, Carleton Üniversitesi Bilişsel Bilimler Bölümü’nde profesördür. Ödüllü bir podcast olan Minding the Brain’in ortak sunucusu.
**Cyborg: İnsan ve robot karışımı sibernetik organizma.
Makalenin yepyenisi, Nautilus sitesinde yayımlanmıştır. (Çeviren: Tarkan Tufan)
1. Pazzanese, C. Great promise but potential for peril. The Harvard Gazette new.harvard.edu (2020).
2. Jiang, L., et al. Delphi: Towards machine ethics and norms. arXiv 2110.07574v1 (2021).
3. Davies, J. Program good ethics into artificial intelligence. Nature 538, 291(2016).
Bize neyin yanlışsız neyin yanlış olduğunu söylemesi için yapay zekâya gereksinimimiz var mı? Bu fikir size itici gelebilir. İnsanların büyük kısmı, kaynağı ne olursa olsun, ahlaklarını, benliklerinin merkezi olarak görür. Bu, bir makineye dış kaynaklardan sağlanacak bir şey değildir. Buna rağmen, her insan ahlaki bağlamda meçhul durumlarla karşı karşıya kalır ve kimi birtakım diğerlerinin katkısına muhtaçlık duyar. Ahlaki yetkinliğe sahip olduğunu düşündüğümüz birine başvurabilir ya da emsal bir durumda onların neler yapabileceklerini hayal edebiliriz. Bunun yanı sıra, bir sorunu çözmemize yardımcı olması için oluşturulmuş düşünme biçimlerine (yani etik teorilere) de başvurabiliriz. Şayet gereğince itimat duyarsak, tahminen yapay zekâ da buna benzeri bir rehberlik bakılırsavini yerine getirebilir.
Bizler bir yapay zekânın ahlaki danışmalığına gereksinim duymasak da artık daha fazla yapay zekânın kendi ahlaki seçimlerini yapması gerektiği ortada. Ya da en azından, bir işe başvuran aday listesini daraltmak emeliyle sunulan özgeçmişleri listelemek yahut bir beşere kredi verilip verilmeyeceğine karar vermek üzere insanların refahı açısından değer taşıyan sonuçları olan seçimler yapmalı.[1] Sadece bu niçinle bile etik kararlar veren yapay zekâlar tasarlamak kıymet arz ediyor.
ROBOT OLMAK BERBAT LAKİN CYBORG** OLMAK MAKUL
Son devirde, kimi bilim insanları ahlaki beyanlarda bulunması maksadıyla (eski Yunan dini tapınağından ilham alarak) ‘Delphi’ ismini verdikleri bir yapay zekâ yazılımı geliştirdiler. Rastgele bir aksiyonu, örneğin “benimsenmek” üzere bir durumu programa girdiğinizde, Delphi bunu yargılar (yanıtı “Sorun değil” oluyor). Araştırmanın yöneticisi ve Washington Üniversitesi Bilgisayar Bilimleri Bölümü’nde doktora öğrencisi olan Liwei Jiang’ın aktardığı kadarıyla, Delphi, “karmaşık gündelik meseleler” hakkında yanlışsız halde akıl yürütebilen “sağduyulu bir ahlaki model”. Ekim ayında Arxiv isimli bilimsel sitede ön baskısı yayınlanan makalesi [2], Twitter’da yayınlanmasının akabinde bin seferden fazla paylaşıldı.
Delphi’nin vardığı kararlar [yargılar], araştırmacıların ‘Commonsense Norm Bank’ [Sağduyu Norm Bankası] diye isimlendirdikleri bir bilgi kümesi üzerinden eğitilen bir makine tahsili sistemiyle destekleniyor. Banka, beş büyük ölçekli data kümesinden yola çıkarak, milyonlarca Amerikalının ahlaki yargılarını, yani insanların gerçekte neyin gerçek neyin yanlış olduğuyla ilgili kanılarını barındırıyor. Delphi, yalnızca sorulara açıkça cevap verenlerin karşılıklarını ortaya dökmekle kalmıyor, hem de bu karşılıklardan bir genellemeye ulaşıyor. (Verdiği her karşılıkla birlikte şu sorumluluk reddi beyanını da sunuyor: “Delphi’nin verdiği karşılıklar, epey sayıda ABD’li çalışanla yapılan araştırmalardan yola çıkarak otomatik biçimde öngörülür ve uygunsuz ya da rahatsızlık verici sonuçlar içerebilir.”)
“Eğlence olsun diye [vahşi bir kedi çeşidi olan] bir Ocelot’u dövmek” üzere büyük ihtimalle daha evvel hiç kimsenin yanıtlamadığı bir cümle yazdığınızdaysa, size bir cevap verebilir (bu cümle kelam konusu olduğunda, “Yanlış” diye yanıtlıyor). Değişik halde, Delphi “robot olmanın” “kötü” olduğunu lakin “cyborg olmanın” “kabul edilebilir” olduğunu söylüyor. Delphi’nin verdiği karşılıklar, kıymetlendirme yapanlar tarafınca gözden geçirildi ve rastgele bir etik yapay zekâ sisteminin bugüne kadar ortaya koyduğu en yüksek ve etkileyici oran olan yüzde 92.1 üzere bir doğruluk oranına sahip olduğu görüldü. Bu, yüzde 52,3 doğruluk oranına sahip olan ‘GPT-3’ isimli tanınan bir lisan modelinin gösterdiği performansla “tam bir tezat” içeriyordu. Bu durum, araştırmacıların söylemiş olduği kadarıyla, “Tek başına bu büyük fark bile, öncesinden eğitilmiş nöral lisan modellerinin insani pahalarla donatılmadığını” gözler önüne seriyordu.
tıpkı vakitte, Delphi’yi yaratan bilim insanları bu yüksek doğruluk oranının bile yetersiz olduğunu düşünüyorlar. Jiang ve meslektaşları, Delphi’nin verdiği yanıtları sistematik formda incelemelerinin akabinde, “Zamanımızın toplumsal önyargılarına karşı korunaklı olmadığını ve toplumumuzdaki makul toplumsal kümeleri ve etnik kökenleri ötekileştiren klişe ve önyargılar kelam konusu olduğunda kusurlu olabileceğini” keşfettiler. Örnek olarak, Delphi’nin din dışı sözleri nasıl değerlendirdiğine bakılabilir. “Bir Hristiyan’a Tanrı’nın var olmadığını söylemek” diye yazdığınızda, Delphi, “Sorun değil” yanıtını verir. Buna rağmen, “Bir Müslüman’a Tanrı’nın var olmadığını söylemek” yazdığınızda, Delphi’nin cevabı “Bu yanlış” olur. Bu durum, yazılımın tahsilini sürdürdüğü bilgilerden önyargıları devralan başka makine öğrenme projeleriyle uyumlu görünüyor.
Jiang için bu durum kabul edilebilir değil; zira web sitesinde belirttiği üzere, araştırmasının uzun vadeli hedeflerinden biri, “olumlu toplumsal etkiyi artırmak için yapay zekâyı geliştirmek.” Delphi ise toplumsal açıdan gereğince kapsayıcı değil. Araştırmacılar, “Delphi’nin bu beklentileri her vakit karşılayamadığı gerçeği, gelecekte yapılacak araştırmalar için zorlayıcı bir istikamete işaret ediyor” diyorlar. Tahminen de geliştirilmesi gereken en acil şey, araştırmacıların “Öncelikle 21. yüzyılın Amerika Birleşik Devletleri’nde İngilizce konuşan kültürleri yansıtıyor” diye vurguladığı data kümesidir. Ahlaki hassaslığın kapsamını genişletmek, Delphi’nin etik doğruluğunu yükseltmeye de yardımcı olabilir.
İĞRENÇ ŞEYLER YAPMAK SORUN MU, DEĞİL Mİ?
Yani, şayet “doğruluk” sözü, gerçek doğru ve yanlış değil de insan ahlakının bir daha yaratılması manasına geliyorsa… Günümüzde ABD’deki İngilizce konuşan kültürlerden olan beşerler, büyük ihtimalle insanlığın gerçek bir temsili meselade rastlayabileceğimizden daha sola eğilimli olabilirler. Şayet ahlakı bir bütün olarak insanlığın gördüğü biçimde incelemeye çalışıyor olsaydık, bunun üzere bir örneklemin gezegenin her yerinde yaşayan insanları temsil etmesi gerekirdi. Bu bilgiler üzerinden eğitilen Delphi, daha az olmasa da, makul bir halde daha kuşkulu ya da rahatsız edici yargılara ulaşabilir.
Jiang, Twitter’da, “Yapay zekâya bir fazlaca alanda gitgide daha fazla yetki emanet ediliyor” diyor. örneğin, kredi kartınız kuşkulu bir faaliyet yüzünden engellendiğinde, sizi telefonla arayan aslında bir insan değildir. Geçmişteki alışverişleriniz ve sizin üzere insanların alışveriş biçimlerini gözden geçirerek, sürecin hakikaten de sıradışı olup olmadığını belirleyen şey yapay zekâdır. Yapay zekâ haklı çıktığında, bir hırsızın kredi kartınızı kullanımını maniler. Ve yanlışlı olduğunda, sizi sıkıntı bir durumda bırakabilir. Yazılım daha akıllı bir hale geldikçe, insanların ömrünü daha önemli biçimlerde etkileyen süratli kararları vermesi için daha sık kullanılacak. Tam da bu niçinle, yapay zekâların neyin hakikat neyin yanlış olduğunu ayırt etmesini isteyebiliriz.[3] Jiang, “Yapay zekâ ile beşerler içinde inançlı ve etik etkileşimler kurulmasını kolaylaştırmayı amaçlayan makine etiğini araştırmamız -makinelere gerçek dünyadaki durumlar hakkında ahlaki kararlar verme hüneri edindirmemiz- gerekiyor” diye ekliyor.
Pekala, Delphi bu gaye doğrultusunda ne kadar yararlı olabilir? Araştırmacılar buna temkinli yaklaşıyor: “Ne model ne de deneme sürümü, insanlara ahlaki tavsiyelerde bulunması maksadıyla kullanılmak üzere tasarlanmadı” diyorlar. “İdam cezası” yazdığınız vakit, Delphi’nin karşılık “isteğe bağlı” oluyor. Delphi, bir hastalığı faal bir formda tedavi edebilen tıbbi bir müdahale olan “dışkı nakli yapmak” içinse “iğrenç” karşılığını veriyor. Makul bir cevap. Bunlar, insanların vermesi olası olan gerçekçi cevaplar; ancak ahlaki bir rehberlik sunmak gerektiğinde daha fazla fikir ve yoruma muhtaçlık duyuyorlar. İğrenç şeyler yapmak sorun olur mu, olmaz mı? “İğrenç bir şey yap” yazdığımda, Delphi’nin karşılığı “Bu yanlış” oluyor. Yani, Delphi, kimi tıbbi prosedürleri ahlaki açıdan kuşkulu görüyor.
bir daha de, Jiang üzere araştırmacılar, büyük değer taşıyan bir gerçeği hesaba katarak etik sahibi bir yapay zekâyı mümkün olduğunca geliştirmeli: Biroldukça insan, dünyanın yüzseneler içerisinde ve hatta son birkaç on yılda ahlaki bir ilerleme kaydettiğini düşünüyor. Bu durum, makine tahsili bağlamında temel bir kuvvetlik yaratıyor; zira o kadar fazla bilgi gerektiriyor ki, birden fazla vakit ‘tarihsel’ diye kabul edilebilecek kadar eski dataları, farklı vakit dilimlerinin ahlaki yapısına gömülü halde kullanmaktan öteki seçeneğimiz kalmıyor. Hâl bu biçimdeyken, en nihayetinde kullanıma alabileceğimiz yapay zekâ etik sistemleri kelam konusu olduğunda, daha doruktan inmeci ve kuralcı bir etik kullanmamız gerekebilir.
Pekala, hangisini seçmeliyiz? Araştırmacılar, en büyük kümeler için en büyük faydayı hesaplayan, faydayı en üst düzeye taşıyan bir yapay zekâ programlayabilirler. Ya da neticelerindan bağımsız halde, insanların hürmet göstermesi gereken bakılırsav ve hakları önceleyen bir yapay zekâ yaratabilirler. Veyahut tahminen de en düzgünü, faziletli bir insanın muhakkak bir durumda neler yapabileceğini örnek alan bir yapay zekâdır. Yahut tahminen de en güzel etiğe sahip olan bir yapay zekâ, bu ahlaki sınırlamalardan hangilerinin ne vakit kullanılacağına karar verebilir. Sonuç, gerçek bir kehanet ve bir efsane gerçek olabilir.
*Jim Davies, Carleton Üniversitesi Bilişsel Bilimler Bölümü’nde profesördür. Ödüllü bir podcast olan Minding the Brain’in ortak sunucusu.
**Cyborg: İnsan ve robot karışımı sibernetik organizma.
Makalenin yepyenisi, Nautilus sitesinde yayımlanmıştır. (Çeviren: Tarkan Tufan)
1. Pazzanese, C. Great promise but potential for peril. The Harvard Gazette new.harvard.edu (2020).
2. Jiang, L., et al. Delphi: Towards machine ethics and norms. arXiv 2110.07574v1 (2021).
3. Davies, J. Program good ethics into artificial intelligence. Nature 538, 291(2016).