Artificial Intelligence: Deep Learning, Really?

ENG (Google Transl.)

Reflection on the value of knowing the history of science, at least in one's own field, and redundant terminology. Perhaps these remarks would be appropriate for the group on terminology in computer science, an extremely valuable initiative, but I think this "post" is a bit too long to be there, moreover, it reflects my subjective (!) Views.

For some time now I have been wondering about the meaning of the term "Deep Learning", not even translated in Polish literature. Does this term, literally "Deep Learning" make sense? If we look at the literature on the subject of AI (I do not translate this acronym, because Polish AI gives rise to strong associations with "Information Systems" or, depending on the context, "Information Systems", also used in the literature in the field of computer science), the most common scope of these publications is anyway concerns ANN with multiple layers. According to many definitions, to consider ANN as "deep", it would be enough to have more than 2 hidden layers (I will not give many examples of definitions from American literature here). So the ANN of the author named Neuronix has been meeting this criterion since around 1990 (it allows up to 3 effectively operating hidden layers).

However, I come back to the sense of the term. It follows that it would be wiser to write about Deep Neural Networks (due to many layers), i.e. GSN, especially since good English-language works include this variant I postulated as DNN (Deep Neural Networks). The precision of this term could be improved further on, for example, ANN with in-depth learning, as the use of "multilayer" was developed much earlier and may be related to the Multilayer Perceptron. Or maybe a person learns deeply? It is also impossible to justify the term Deep Learning. Neurological tests have established that the cerebral cortex is exactly 6 layers of neurons (up to about 5-6 mm thick), organized in local columns. Even if we relate this "depth" to thinking, it also does not correspond to reality, because apart from actually deepened, analytical thinking, people often act "intuitively", in a way for shortcuts, so superficially - sometimes we use the term heuristics.

Thus, new IMHO terminological entities emerge completely unnecessary, as ontology once did (of course, I used this term myself sometimes, but with reluctance). Any slightly older scientist who knew the concept of "Knowledge Representation" (KR) could have had this resistance. Or maybe the ontologies had some specific distinguishing feature, like an asymptomatic symptom / symptom? No, they perfectly described / described hierarchical structures (dendritic, even without multi-inheritance). Was this not known before? Of course yes! It is necessary to refer to the frame theory. Nb. "frames" mistakenly translated by someone as frames, but it was difficult to go against the grain, because "frames" / frames were intended by the creator (Marvin Minsky) as an analog of film frames / frames. Therefore, the second mistake was made very consistently when translating slots as frames, ie a kind of looping definition was created. AI, and within it, the KR with the theory of frames influenced the development of the Smalltalk-80 language (developed in the Xerox laboratory, "orthodox", the first strictly object-oriented language, beautiful in its consequence of hierarchical structures and abstractions, e.g. superclasses or metaclasses). Smalltalk-80 along with the Simula language gave rise to the first popular object-oriented programming languages

(C ++ -> C #, Object Pascal etc.). So do ontologies still have some abstract discriminant? Ontology is a term from the field of the philosophy of being, that is, almost everything, was it really a good loan? Incidentally, does the term "Deep learning" make any sense and did US scientists have to use it? Those unfamiliar with the history of the SSN may be. But that's my opinion 🙂

This post results from the recently observed by me multiplication of linguistic "entities beyond need". Suddenly, beyond Big Data we see Data Science and many variants, eg Data Engineering etc. etc. So the "good old artificial intelligence" and "neural networks" (ANNs) do not exist anymore? I mentioned it some time ago in my modest What does it lead to? To put it mildly, weird ideas resulting from "sticking" to AI by specialists from other fields, because after the Lighthil report and "winter" in AI, then revival again thanks to expert systems ( SE) and the Fifth Generation Computers Project (Japan) planned for 10 years and the next scientific winter in AI, from around 2012 we have been observing warming and even heat in the AI ​​region! Hence who can rush this way along with humanists and ... transhumanists (it is worth paying more attention to this, because what they preach should "hair on the head" to reasonable scientists, specialists in AI or exact sciences, and certainly light a red lamp! Maybe one day I will write about this absurd ideology (on I have already written a bit of the log), I only discover after recent visits to 2 hospitals that everything is easier on FB than in CMS I'm using, and time is starting to matter more than it used to be.

Well, last summer I was invited to an expert group that was to work out a strategy for the development of AI in Poland as part of a wider project in the EU. I took an active part there and one day among the submitted ideas for projects in which one should invest I heard ... "statistical machines"! Initially, I thought that after 40 years of computer science, I missed something, but omniscient Google gave zero (null / nil) results. I commented that it made no sense and it was accepted, fortunately for Poland, I think 🙂 It was probably the effect of the aforementioned free juggling recently with a multitude of terms that are born faster than the content filling them. Moral for me? Not to multiply linguistic entities beyond the need, and not to make a semantic substitution (neo-semantization) or even fill them with a semantic void (void!) 🙂

PL

Refleksja nad wartością znajomości historii nauki, przynajmniej własnej dziedziny, oraz nadmiarową terminologią. Być może te uwagi nadawałyby się do grupy dot. terminologii w informatyce, niezwykle cennej inicjatywy, ale myślę, że ten "post" jest trochę za długi by gościł tam, ponadto odzwierciedla moje subiektywne (!) poglądy.

Od pewnego czasu zastanawiam się nad sensem terminu "Deep Learning", nawet nie tłumaczonego w polskiej literaturze. Czy ten termin, dosłownie "Głębokie uczenie" ma sens? Jeśli zajrzymy do literatury przedmiotu z AI (tego akurat akronimu nie tłumaczę, bo polskie SI rodzi silne skojarzenia z "Systemami Informatycznymi" lub zależnie od kontekstu "Systemami Informacyjnymi", także używanymi w literaturze z dziedziny informatyki), to najczęściej i tak zakres tych publikacji dotyczy SSN (ang. ANN) z wieloma warstwami. Wg wielu definicji by uznać SSN za "głęboką", to wystarczy by miała więcej niż 2 warstwy ukryte (nie będę tu podawał wielu przykładów definicji z literatury amerykańskiej). Czyli SSN autora o nazwie Neuronix spełnia to kryterium już od ok. 1990 roku (dopuszcza do 3 skutecznie działających warstw ukrytych).

Wracam jednak do kwestii sensu tego terminu. Z tego wynika, że rozsądniej byłoby pisać o Głębokich Sieciach Neuronowych (z powodu wielu warstw), czyli GSN, zwłaszcza, że w dobrych pracach anglojęzycznych pojawia się właśnie ten postulowany przeze mnie wariant jako DNN (Deep Neural Networks). Można by bardziej poprawić precyzję tego określenia na np. SSN z pogłębionym uczeniem, bowiem użycie "wielowarstwowe" już powstało dużo wcześniej i może być związane z Perceptronem Wielowarstwowym (ang. Multilayer Perceptron). A może człowiek uczy się głęboko? Tak też nie da się uzasadnić terminu Deep Learning. Badania neurologiczne ustaliły, że kora mózgowa to dokładnie 6 warstw neuronów (o grubości do ok. 5-6 mm), do tego zorganizowanych w lokalnych kolumnach. Nawet jeśli odnieść tę "głębokość" do myślenia, to też nie odpowiada rzeczywistości, bowiem poza faktycznie pogłębionym, analitycznym myśleniem, ludzie często działają "intuicyjnie", niejako na skróty, więc powierzchownie - czasami używamy na to określenia heurystyka.

Powstają zatem nowe byty terminologiczne IMHO zupełnie zbędne, jak kiedyś ontologia (oczywiście sam czasami tego terminu używałem, ale z oporami). Te opory mógł mieć każdy nieco starszy naukowiec, który doskonale znał pojęcie "Reprezentacji Wiedzy" (ang. Knowledge Representation - KR). A może ontologie miały jakiś specyficzny wyróżnik, niczym bezobjawowy objaw/symptom? Nie, one doskonale opisywały/opisują struktury hierarchiczne (dendrytowe, nawet bez wielodziedziczenia). Czy tego już nie znano wcześniej? Oczywiście tak! Należy sięgnąć do teorii ram (ang. frame theory). Nb. "frames" błędnie przez kogoś przetłumaczona jako ramy, ale trudno było iść pod prąd, bo "ramy"/frames były w zamyśle twórcy (Marvin Minsky) analogią klatek/kadrów filmowych. Dlatego bardzo konsekwentnie popełniono drugi błąd, tłumacząc ang. Slots jako klatki, czyli powstało swego rodzaju zapętlenie definicji. AI, a w jej ramach KR z teorią ram wpłynęły na rozwój języka Smalltalk-80 (opracowany w laboratorium firmy Xerox, "ortodoksyjny", pierwszy stricte obiektowy język, piękny w swej konsekwencji struktur hierarchicznych i abstrakcji np. superklas czy metaklas). Smalltalk-80 wraz z językiem Simula dał początek pierwszym popularnym językom programowania obiektowego

(C++ -> C#, Pascal obiektowy itd.). Czy więc ontologie nadal mają jakiś wyróżnik abstrakcyjny? Ontologia to termin z dziedziny filozofii bytu, czyli niemal wszystkiego, czy to na pewno było dobre zapożyczenie? To na marginesie o pytanie, czy termin "Deep learning" ma jakikolwiek sens i czy naukowcy z USA musieli go użyć? Ci nie znający historii SSN być może tak. Ale to moja opinia 🙂

Ten post wynika z obserwowanego przeze mnie ostatnio mnożenia językowych "bytów ponad potrzebę". Nagle poza Big Data pojawia nam się Data Science i wiele wariantów np. Data Engineering itd. itp. Czyli "stara dobra" sztuczna inteligencja" i "sieci neuronowe" (SSN) już nie istnieją? Wspomniałem o tym już jakiś czas temu na moim skromnym blogu, na stronie domowej WWW. Do czego to prowadzi? Do delikatnie mówiąc dziwnych pomysłów, wynikających z "przyklejania" się do AI przez specjalistów z innych dziedzin bo po raporcie Lighthila i "zimie" w AI, potem znowu ożywienia za sprawą systemów ekspertowych (SE) oraz Projekcie Komputerów Piątej Generacji (Japonia) przewidzianym na 10 lat i kolejnej zimie naukowej w AI, od około 2012 znowu obserwujemy ocieplenie, a nawet upały w rejonie AI ! Stąd kto może pędzi w tę stronę wraz z humanistami i ... transhumanistami (tym warto poświęcić więcej uwagi, bo to co oni głoszą powinno rozsądnym naukowcom, specjalistom z AI czy nauk ścisłych "zjeżyć włos na głowie", a na pewno zapalić czerwoną lampkę! Może kiedyś napiszę o tej absurdalnej ideologii (na blogu już co nieco napisałem), tylko odkrywam po niedawnych wizytach w 2 szpitalach, że na FB wszystko robi się łatwiej niż w CMS, a czas zaczyna mieć znaczenie większe niż kiedyś.

Otóż latem ub. roku byłem zaproszony do grupy eksperckiej mającej wypracować strategię rozwoju AI w Polsce w ramach szerszego projektu w UE. Brałem tam aktywny udział i pewnego dnia wśród zgłaszanych pomysłów na projekty, w które powinno się inwestować usłyszałem..."maszyny statystyczne" ! Początkowo, myślałem, że mimo 40 lat zajmowania się informatyką, coś przegapiłem, ale wszechwiedzący Google dał zero (null/nil) wyników. Zgłosiłem uwagę, że to nie ma sensu i została zaakceptowana, na szczęście dla Polski chyba To prawdopodobnie był efekt wspomnianego swobodnego żonglowania ostatnio mnogością terminów, które rodzą się szybciej niż wypełniająca je treść. Morał dla mnie? Nie mnożyć językowych bytów ponad potrzebę, a do tego nie dokonywać podmiany semantycznej (neosemantyzacja) lub wręcz wypełniać je pustką semantyczną (void!)