Nowo utworzony „wszechświat AI” wkrótce rozpocznie badania: ScienceAlert

Odkrycia naukowe to jedna z najbardziej złożonych działalności człowieka. Po pierwsze, naukowcy muszą zrozumieć istniejącą wiedzę i zidentyfikować główną lukę.

Następnie muszą sformułować pytanie badawcze, zaprojektować i przeprowadzić eksperyment, aby uzyskać odpowiedź.

Następnie muszą przeanalizować i zinterpretować wyniki eksperymentu, co może postawić kolejne pytanie badawcze.

Czy tak złożony proces można zautomatyzować? w zeszłym tygodniu, Ogłoszono Sakana AI Labs Stwórz „naukowca AI” – system sztucznej inteligencji, który według nich może w sposób w pełni zautomatyzowany dokonywać odkryć naukowych z zakresu uczenia maszynowego.

Korzystając z generatywnych modeli dużych języków (LLM), takich jak te stojące za ChatGPT i innymi chatbotami opartymi na sztucznej inteligencji, system może przeprowadzić burzę mózgów, wybrać obiecujący pomysł, zakodować nowe algorytmy, szkicować wyniki i napisać artykuł podsumowujący eksperyment i jego wyniki, referencje.

Sakana twierdzi, że narzędzie sztucznej inteligencji może objąć cały cykl eksperymentu naukowego przy cenie zaledwie 15 dolarów za artykuł – mniej niż koszt lunchu naukowca.

To są duże roszczenia. Czy to realistyczne? Nawet gdyby było to realistyczne, czy armia naukowców zajmujących się sztuczną inteligencją piszących artykuły badawcze z niezwykłą szybkością jest naprawdę dobrą wiadomością dla nauki?

Jak komputer może uprawiać „naukę”

Duża część nauki odbywa się jawnie i prawie cała wiedza naukowa jest gdzieś zapisana (w przeciwnym razie nie mielibyśmy możliwości „poznania” tej wiedzy). Miliony artykułów naukowych są swobodnie dostępne online w repozytoriach takich jak Arksif I PubMed.

Studenci LLM przeszkoleni w zakresie tych danych uchwycą język i wzorce nauki. Być może więc nie jest wcale zaskakujące, że studenci LLM potrafią stworzyć coś, co wygląda jak dobra praca naukowa – przyswoili sobie wiele przykładów, które mogą skopiować.

Mniej jasne jest to, czy system AI jest w stanie produkować Ciekawy Dobre badania naukowe wymagają innowacji.

Ale czy to jest interesujące?

Naukowcy nie chcą, aby mówiono im rzeczy, które są już znane. Chcą raczej nauczyć się nowych rzeczy, zwłaszcza nowych, które znacznie różnią się od tego, co już znane. Wymaga to oceny zakresu i wartości wkładu.

System Sakana próbuje rozwiązać problem zainteresowania na dwa sposoby. Po pierwsze, „oceni” idee nowych prac badawczych pod kątem podobieństwa do badań istniejących (indeksowanych w bazie badań). Świat semantyczny Wszystko, co będzie zbyt podobne, zostanie zignorowane.

Po drugie, system SACANA wprowadza etap „peer review” – wykorzystanie innego LLM do oceny jakości i nowości wygenerowanego artykułu badawczego. Również w tym przypadku istnieje wiele przykładów recenzji online w witrynach takich jak OpenReview.net Które mogą ci pomóc w krytyce artykułu badawczego. Studenci LLM również je przyswoili.

Sztuczna inteligencja może źle oceniać wyniki AI

Reakcja na produkcję Sakana AI była mieszana. Niektórzy opisali to jako produkujące „Niekończące się naukowe bzdury„.

Nawet przegląd wyników przeprowadzonych przez sam system ocenia artykuły w najlepszym wypadku jako słabe. Sytuacja ta prawdopodobnie ulegnie poprawie wraz z rozwojem technologii, pozostaje jednak pytanie, czy zautomatyzowane prace naukowe są wartościowe.

Kwestią otwartą jest również zdolność studentów LLM do oceny jakości badań. Moja praca własna (wkrótce opublikowana w Metody zbierania badań) pokazują, że osoby posiadające wykształcenie LLM nie są w stanie ocenić ryzyka stronniczości w badaniach medycznych, choć z czasem może to również ulec poprawie.

Sakana automatyzuje odkrycia w badaniach obliczeniowych, co jest znacznie łatwiejsze niż w innych rodzajach nauk wymagających eksperymentów fizycznych. Eksperymenty Sakany są przeprowadzane przy użyciu kodu, który jest również tekstem strukturalnym, którego tworzenia można nauczyć studentów LLM.

Narzędzia AI mają wspierać naukowców, a nie ich zastępować

Badacze zajmujący się sztuczną inteligencją od dziesięcioleci opracowują systemy wspierające naukę. Biorąc pod uwagę dużą liczbę opublikowanych badań, znalezienie publikacji istotnych dla konkretnego zagadnienia naukowego może być trudne.

Specjalistyczne narzędzia wyszukiwania wykorzystują sztuczną inteligencję, aby pomóc badaczom znaleźć i podsumować istniejące prace. Do narzędzi tych zalicza się wspomniany wyżej Semantic Scholar, ale także nowsze systemy, m.in Wywołać, Szukaj królika, Zestaw I zgoda.

Narzędzia do wydobywania skryptów, takie jak poptator Zanurz się głębiej w artykuły badawcze, aby zidentyfikować kluczowe punkty, na których należy się skupić, takie jak mutacje genetyczne, określone choroby i relacje między nimi. Jest to szczególnie przydatne przy porządkowaniu informacji naukowej.

Uczenie maszynowe zostało również wykorzystane do wspierania gromadzenia i analizy dowodów medycznych za pomocą narzędzi takich jak Recenzent robota. Streszczenia porównujące twierdzenia zawarte w artykułach naukowych z Stypendia Pomoc w przeprowadzaniu recenzji literatury.

Wszystkie te narzędzia mają pomóc naukowcom w efektywniejszym wykonywaniu ich pracy, a nie je zastąpić.

Badania nad sztuczną inteligencją mogą zaostrzyć istniejące problemy

Podczas gdy Sakana A.I Kraje Chociaż firma nie widzi malejącej roli ludzkich naukowców, jej wizja „naukowego ekosystemu napędzanego całkowicie przez sztuczną inteligencję” będzie miała poważne implikacje dla nauki.

Jedną z obaw jest to, że jeśli publikacje dotyczące sztucznej inteligencji zaleją literaturę naukową, przyszłe systemy sztucznej inteligencji mogą być szkolone na podstawie wyników sztucznej inteligencji i ulegać modyfikacjom. Upadek modeluOznacza to, że mogą stać się coraz bardziej nieskuteczne w zakresie innowacji.

Jednak implikacje dla nauki wykraczają daleko poza wpływ na same systemy naukowe AI.

W nauce działają już źli aktorzy, w tym „zakłady papiernicze”, które produkują Fałszywe papiery. Ten problem zostanie właśnie rozwiązany Jest coraz gorzej Kiedy artykuł naukowy może zostać opublikowany za 15 dolarów i niejasne początkowe twierdzenie.

Konieczność sprawdzania błędów w natłoku automatycznie generowanych badań może szybko przerosnąć możliwości rzeczywistych naukowców. Można powiedzieć, że system recenzowania jest Już zepsutyDorzucanie większej liczby badań o wątpliwej jakości nie rozwiąże problemu.

Nauka zasadniczo opiera się na zaufaniu. Naukowcy kładą nacisk na integralność procesu naukowego, abyśmy mogli zapewnić, że nasze zrozumienie świata (a obecnie światowych maszyn) jest prawidłowe i udoskonalane.

Ekosystem naukowy, w którym systemy AI odgrywają główną rolę, rodzi fundamentalne pytania o znaczenie i wartość tego procesu oraz o to, jaki poziom zaufania powinniśmy darzyć naukowców zajmujących się sztuczną inteligencją. Czy takiego ekosystemu naukowego chcemy?

Karen VerspoorDziekan Szkoły Technik Komputerowych Uniwersytetu RMIT, Uniwersytet RMIT

Ten artykuł został ponownie opublikowany z Rozmowa Na licencji Creative Commons. Czytać Oryginalny artykuł.