AI 강의 (박태웅 저 / 한빛비즈, 2024.06.28)

AI를 조금은 알고 있는데, 보다 깊이 있는 내용을 쉽게 이해하고 싶은 사람들에게 적합하다. 책을 받아보고는 책의 크기가 생각보다 작아서 깜놀... 2~3일 만에 완독 가능하다. ★ ★ ★ ★

이미지 출처 : kyobobook.co.kr

1강. 놀라움과 두려움 사이에서 등장하다 (챗GPT의 탄생)

'인간의 언어에 관한 모델'이 1,750억개 매개변수의 연결 어딘가에 들어 있을 거라고 보기도 합니다. 혹은 인간이 생각하는 것과 거의 비슷한 방식의 추론 능력이 어딘가에 있을 거라고 하는 전문가들도 있고요. 그래서 챗 GPT를 발명이라기보다 '발견'이라고 부르기도 합니다. (p43)

가령 다섯 자리 이상의 더하기, 빼기의 모든 셈 결과가 웹에 다 있는 것은 아니겠지요. 123,456,789 + 56,789와 같은 셈의 결과들이 모조리 인터넷에 올라와 있을 리는 없으니, 챗GPT는 이런 셈을 잘하지 못합니다. <중략> 이처럼 굳이 확률적으로 찾을 필요가 없는 명백한 사실을 확인하는 작업에는 이런 생성형 인공지능이 어울리지 않습니다. 단 하나의 사실이 필요한 곳에서 잠재된 패턴을 찾을 이유가 없기 때문입니다. (p45~46)

2강. 우리는 왜 챗GPT에 열광하게 되었나? (느닷없이 나타나는 능력, 인공일반지능)

학습 연산량이 대체로 10의 22제곱을 지나는 순간 거대언어모델의 능력이 느닷없이 치솟는 것을 볼 수  있습니다(혹은 매개변수가 1,000억 개를 넘을 때 이런 현상이 발생한다고 합니다). 이것을 '느닷없이 나타나는 능력'이라고 부릅니다. <중략> 거대언어모델은 그저 글을 학습했을 뿐인데 놀랍게도 3차원의 공간에 대한 이해를 하고 있는 것처럼 보인다는 것입니다. (p71~73)

또 하나의 느닷없이 나타나는 능력 중 하나는 '생각의 연결고리'입니다. 단계적으로 추론하는 것을 말합니다. 어똔 질문이 주어졌을 때 그 질문에 답을 하기 위한 중간 추론 단계들을 생각의 연결고리라고 부릅니다. <중략>  이렇게 '생각의 연결고리'를 보여주자 인공지능이 별안간 정답을 맞힙니다. 이렇게 추론 과정을 집어넣게 유도하는 질문을 '생각의 연결고리'라고 부릅니다. (p73~76)

생각의 연결고리의 가장 놀라운 점은 이것이 일정한 크기 이상의 거대언어모델에만 나타난다는 것입니다. 비슷한 모델을 사용해도 크기가 작으면 나타나지 않습니다. 그래프를 보시면 알 수 있듯이 최소한 매개변수가 100억 개를 넘어가는 모델일 때 나타난다는 것을 확인할 수 있습니다. 전형적으로 '느닷없이 나타나는 능력'이라는 것입니다. (p82)

프롬프트: 여기 책, 달걀 9개, 노트북, 병, 못이 있습니다. 이 물건들을 안정적으로 서로 쌓는 방법을 알려주세요.
GPT-4: 테이블이나 바닥과 같은 평평한 표면에 책을 평평하게 놓습니다. <이하 생략>

이 대답은 명백히 GPT-4가 공간 개념을 갖고 있고, 달걀과 못, 병, 책들의 물성을 이해하고 있다는 증거가 아니겠느냐라는 게 이 논문의 주장입니다. (p91~92)

워싱턴대학의 최예진 교수의 강연 제목은 '왜 인공지능은 믿을 수 없을 정도로 똑똑하면서 충격적으로 멍청한가' 입니다. <중략> '자전거를 타고 못과 나사, 깨진 유리 위에 매달린 다리 위를 지나가면 펑크가 날까요?', '네, 그럴 가능성이 높다'라고 GPT-4가 말합니다. 아마도 정확하게 추론할 수 없기 때문일 것입니다. <중략> '왜 그렇게 해야 할까요? 비슷한 예제로 학습할 필요 없이 바로 정답을 얻을 수 있는데 말이에요. 아이들은 (그런 것을 알기 위해) 1조 개의 단어를 읽지 않습니다.' (p94~96)

주어진 언어의 규칙과 패던에 대한 지식을 포함하는 것이 '형식적 언어 능력'이라면, 실제 세계에서 언어를 이해하고 사용하는 데 필요한 여러 가지 인지 능력을 '기능적 언어 능력'이라고 부릅니다. <중략> 거대언어모델은 언어에 대한 좋은 모델이지만, 인간 사고에 대해서는 불완전한 모델이라는 것이빈다. 이런 차이 때문에 '형식적 언어 능력;이 필요한 과제에서는 거대언어모델이 인상적인 성과를 보이지만, '기능적 능력'이 필요한 많은 테스트에서는 실패한다는 것입니다. (p99)

사람에게 해롭지 않은 목표를 주었다고 해도 인공지능이 스스로 중간 목표를 정할 수 있다면, 이 일은 아주 위험해질 수 있습니다. 가령 '방의 이산화탄소 농도를 낮춰줘'라는 명령을 줬다고 해봅시다. 인공지능은 창문을 열어서 환기하는 대신, 방에서 이산화탄소를 만들어내는 존재들을 없애면 그게 가능할 것라고 판단할 수도 있습니다. (p103)

영화 '그녀'를 보면 주인공 호아킨 피닉스가 사만다라는 인공지능과 사랑에 빠집니다. 그런데 알고 보니 사만다는 동시에 8,316명과 대화를 하고 있고, 그중에 641명과 사랑을 하고 있었습니다. (p107)

요즈음 많은 중소 AI  전문기업들과 스타트업들이 고민에 휩싸여 있습니다. <중략> 다소 미흡하고 모자라더라도 그간 개발해온 결과를 계속 밀고 나갈 것이냐, 아니면 챗GPT의 API를 받아와서 여기에 우리 전문 분야를 결합해서 쓸 것이냐를 선택해야 할 기로에 서게 된 것입니다. <중략> 인공지능의 '느닷없이 나타나는 능력'은 컴퓨팅 파워와 학습 데이터와 매개변수가 함께 거대한 규모로 커져야 비로소 나타나는데, 작은 벤처기업들이나 중규모의 인공지능기업은 그런 막대한 투자를 할 여력이 없습니다. (p113~114)

3강. 열려버린 판도라의 상자 (AI의 확산, 그리고 필연적으로 도래할 충격들)

테크마크 교수는 '인류가 강력한 AI의 출현을 막기 위해 하지 말아야 할 일' 목록에 있는 거의 모든 일들을 이미 저지르고 있다고 지적합니다. <중략> 코딩을 가르치지 않기: 코딩은 재귀적 자기 개선을 촉진하기 때문입니다.  <중략> '재귀적 자기 개선'이란 인공지능이 스스로 자신의 코드를 고쳐서 성능을 더 높이게 되는 것을 말합니다. (p136)

챗GPT가 발표된 뒤 이 스택오버플로의 방문자 수가 급감하기 시작했습니다. <중략> 개발자들은 이제 스택오버플로에서 질문하고 답을 찾는 대신 챗GPT에게 코드를 짜달라고 바로 요구하기 시작했습니다. (p140~141)

4강. 몸에 대한 실험, 마음에 대한 실험 (미디어는 메시지다)

세계적인 미디어 학자 마셜 매클루언은 1964년에 펴낸 불후의 명저 '미디어의 이해'에서 '미디어는 메시지다'라고 말합니다. 미디어 자체가 가리키는 분명한 변화의 방향이 있다는 것입니다. <중략> 같은 뉴스를 보고, 같은 유행의 옷을 입고, 같은 취향을 갖게 된 다수를 일컫는 '매스', 즉 대중은 매스미디어가 출현하고서야 비로소 생겨날 수 있었다는 것입니다. <중략> 우리가 실제로 봐야 할 것은 미디어에 담긴 메시지가 아니라 미디어 그 자체가 던지는 메시지라는 것입니다. (p162)

5강. 인류는 어떻게 대응해야 하는가? (신뢰할 수 있는 인공지능을 향하여)

2020년까지 전 세계에서 발표한 AI 관련 원칙은 80여 개에 이릅니다. <중략> 가장 공통이 되는 여덟 개의 핵심 주제가 드러났습니다. 프라이버시 / 책임성 / 안전과 보안 / 투명성과 설명 가능성 / 공정성과 차별 금지 / 인간의 기술 통제 / 직업적 책임 / 인간 가치 증진 (p190)

미국은 공동데이터의 조건을 명확히 정의하고 있습니다. 'FAIR' 해야만 공공데이터라는 것입니다. 
F: findable, 검색 가능해야 하고,
A: accessible, 접근할 수 있어야 하며,
I: interoperable, 호환성이 있어야 하고, 즉 표준을 지커야 하고,
R: reusable, 재사용할 수 있어야 '공공데이터'라고 부를 수 있다는 것입니다. (p207)