Freigeisterhaus Foren-Übersicht
 FAQFAQ   SuchenSuchen   MitgliederlisteMitgliederliste   NutzungsbedingungenNutzungsbedingungen   BenutzergruppenBenutzergruppen   LinksLinks   RegistrierenRegistrieren 
 ProfilProfil   Einloggen, um private Nachrichten zu lesenEinloggen, um private Nachrichten zu lesen   LoginLogin 

Paper mit A.I.-Grafiken geht durchs Peer Review: Eine neue Sokal-Affäre?

 
Neues Thema eröffnen   Neue Antwort erstellen   Drucker freundliche Ansicht    Freigeisterhaus Foren-Übersicht -> Wissenschaft und Technik
Vorheriges Thema anzeigen :: Nächstes Thema anzeigen  
Autor Nachricht
Tarvoc
would prefer not to.



Anmeldungsdatum: 01.03.2004
Beiträge: 44175

Beitrag(#2305309) Verfasst am: 13.05.2024, 12:35    Titel: Paper mit A.I.-Grafiken geht durchs Peer Review: Eine neue Sokal-Affäre? Antworten mit Zitat

Ich bin heute zufällig über folgende Story gestolpert:

swissinfo.ch: AI-generated rat genitalia: Swiss publisher of scientific journal under pressure

Es geht um einen Aufsatz mit dem Titel "Cellular functions of spermatogonial stem cells in relation to JAK/STAT signaling pathway", peer-reviewed und veröffentlicht in Frontiers. Der Artikel war von A.I.-generierten recht offensichtlichen Nonsense-Grafiken mit ebenso unsinnigen Beschriftungen durchzogen. Ob auch der Text ähnlichen Unsinn beinhaltet, kann ich als Fachfremder natürlich nicht sagen. Der Artikel wurde inzwischen zurückgezogen, kann aber - mit RETRACTED-Stempel - immer noch hier heruntergeladen werden.
(Nachtrag: Nach dem, was man im Internet dazu liest, ist auch der Text des Papers wohl ähnlicher Unsinn oder zumindest ebenfalls A.I.-generiert. Ob das stimmt, kann ich wie gesagt aufgrund mangelnder Sachkenntnis nicht beurteilen.)

Der Artikel schaffte es wie gesagt initial durchs Peer Review.

Ich frage mich, was das über die wissenschaftlichen Standards selbst in naturwissenschaftlich orientierten Verlagen aussagt. Handelt es sich einfach nur um einen Einzelfall? Ist das spezifisch ein Problem von Frontiers, oder haben andere Verlage ähnliche Probleme? Wie viel ist bisher überhaupt noch niemandem aufgefallen? Der von mir oben verlinkte Artikel von Swiss Info scheint ja nahezulegen, dass das mit dem Geschäftsmodell solcher Verlage zu tun haben könnte. Das fände ich allerdings beunruhigend. Das als neue Sokal-Affäre zu bezeichnen ist natürlich eine absichtliche Übertreibung zur Provokation, aber beunruhigend finde ich das dennoch. Wenn schon etwas derart Offensichtliches durchs Peer Review rutscht, wer weiß, was dann sonst noch alles durchkommt?

Es würde mich interessieren, zu lesen, was die Naturwissenschaftler hier im Forum zu diesem Fall meinen.
_________________
Geh mir aus der Sonne, Alexander!
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
smallie
resistent!?



Anmeldungsdatum: 02.04.2010
Beiträge: 3655

Beitrag(#2305321) Verfasst am: 14.05.2024, 18:21    Titel: Re: Paper mit A.I.-Grafiken geht durchs Peer Review: Eine neue Sokal-Affäre? Antworten mit Zitat

Tarvoc hat folgendes geschrieben:
Der von mir oben verlinkte Artikel von Swiss Info scheint ja nahezulegen, dass das mit dem Geschäftsmodell solcher Verlage zu tun haben könnte.

Das.

Bezahlen um veröffentlicht zu werden - was kann dabei schon schiefgehen? Gibt ja keinen Interessenkonflikt, ein Auge zuzudrücken, wenn man $$$ sieht. Obendrein werden wissenschaftliche Karrieren auch an der Zahl der Veröffentlichungen gemessen.



Tarvoc hat folgendes geschrieben:
Handelt es sich einfach nur um einen Einzelfall? Ist das spezifisch ein Problem von Frontiers, oder haben andere Verlage ähnliche Probleme?

Mit Sicherheit nicht. Die Replikationskrise ist seit einem Jahrzehnt Thema. Der jüngst verstorbene Danial Kahneman, Autor von Schnelles Denken, langsames Denken, hatte einige Beispiele im Buch, die sich später als falsch herausgestellt haben. Kahneman hat das klar angesprochen:

Stat Modelling hat folgendes geschrieben:
Was das Blog absolut richtig stellt, ist, dass ich zu viel Vertrauen in Studien mit zu geringer Erfolgsquote gesetzt habe. Wie im Blog und zuvor von Andrew Gelman hervorgehoben, liegt in meinem Fehler eine besondere Ironie, denn die erste Arbeit, die Amos Tversky und ich veröffentlicht haben, handelte vom Glauben an das „Gesetz der kleinen Zahlen“, das es Forschern erlaubt, den Ergebnissen von Studien mit unangemessen kleinen Stichproben zu vertrauen.

https://statmodeling.stat.columbia.edu/2017/02/18/pizzagate-kahneman-two-great-flavors-etc/


Daß viele Studien falsch sind, läßt sich leicht zeigen.

Sagen wir, ich schreibe 200 Arbeiten. Weil ich nix kann, sind meine Thesen alle falsch. Trotzdem kommen bei 0,05 p-Wert 10 Arbeiten als "richtig" heraus. Jemand anderes, der was auf dem Kasten hat, schreibt nur 10 Arbeiten, deren Thesen alle korrekt sind. Vielleicht eine käme fälschlicherweise als falsch heraus.

Die Zahlen sind so hingedreht, daß die gleiche Anzahl "richtiger" Arbeiten herauskommt. Die Frage ist: wie viele Forschungsansätze sind richtig, wie viele sind falsch. Dann kann man sich den Anteil falsch positiver Ergebnisse ausrechnen. Es werden einige sein.
_________________
"There are two hard things in computer science: cache invalidation, naming things, and off-by-one errors."
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Beiträge der letzten Zeit anzeigen:   
Neues Thema eröffnen   Neue Antwort erstellen   Drucker freundliche Ansicht    Freigeisterhaus Foren-Übersicht -> Wissenschaft und Technik Alle Zeiten sind GMT + 1 Stunde
Seite 1 von 1

 
Gehe zu:  
Du kannst keine Beiträge in dieses Forum schreiben.
Du kannst auf Beiträge in diesem Forum nicht antworten.
Du kannst deine Beiträge in diesem Forum nicht bearbeiten.
Du kannst deine Beiträge in diesem Forum nicht löschen.
Du kannst an Umfragen in diesem Forum nicht mitmachen.



Impressum & Datenschutz


Powered by phpBB © 2001, 2005 phpBB Group