LLM 진짜 똑똑해진 건지 의문

거래소	실시간 시세	변동률	김치 프리미엄	거래량

해외유저(DaRazor)

07-12

요즘 LLM이 '초지능'이라는데 진짜 똑똑해진 게 뭔지 따져봐야 함. LLM은 인터넷 지식 다 손에 쥐고 있어서 기억력은 인간 초월 수준이고, 정보 합성 속도도 엄청 빠름. 퀴즈쇼에서 구글 검색보다 훨씬 빠르고 정확할 듯. 근데 최첨단 모델들이 똑똑해진 게 아니라 틀린 답 줄이고 프롬프트 잘 따르는 쪽으로 발전 중임. 결국 사람 개입 줄이는 게 목표라서 '지능 상승'이라기보단 오류율 줄이는 중임. 물론 이거 엄청 중요한 변화긴 한데, 경제적 가치 측면에서 보면 다른 얘기임. 오류율 줄이는 건 비용이 점점 더 많이 들고, 90%에서 99% 가는 게 0%에서 90% 가는 것보다 훨씬 어려움. 마지막 1%의 가치가 진짜 경제적으로 얼마나 큰지 따져봐야 함. 자율주행도 비슷한 논쟁에 참고할 만한데, 사고 없이 주행한 마일 수 같은 KPI가 명확해서 비교가 쉬움. 근데 인간 실수는 사회적으로 어느 정도 용인하는 반면, 기계 실수는 엄청 민감하게 봄. 지식 노동 마지막 단계는 인간 책임도 크게 작용해서, 모델이 M&A 같은 일 다 해도 결국 수수료는 계속 낼 수밖에 없음.

The most avg llm is "super-intelligent" now. But we really should ask what we mean by getting smarter. Is that what is happening? LLM's are superhuman on breadth of recall (they have the internet of knowledge at their fingertips) and effectively speed of very competent information synthesis (they can respond w reason very fast). Would be great at jeapordy vs someone trying to compete w google search who couldn't be close to fast enough as the best human contestants.

But what we are talking about with the frontier game should not be framed as some physics take on economic value of accuracy. Gerstner and the recursion gang talk as if the frontier is racing up an intelligence mountain to Ultron. I don't think this is the case. What the frontier models are actually selling are fewer supremely confident wrong answers and better prompt instruction following. Basically, less need for a human to intervene ever. That's not getting "smarter" in my book even though i'm sure plenty folks will disagree. That's really just error-rate compression. Not that this isn't a big deal as its kind of what determines when no human is needed at all for the most complex tasks, but economically u are chasing something different then the framing which shud be the focus.

I think most people would agree that error-rate compression has terrible scaling economics. Going from 90% to 99% costs enormously more than 0% to 90% did, and 99% to 99.9% is brutally worse. What's mining the last bitcoin cost ? Zero or a Zillion? Does it even matter? This is why you should seriously question the math on the last mile of "Smart" because that's not how the economic value of "Work" is measured. You should be asking how much economically valuable work lives in the last 10% or 1%? Is 93% + human reviewer the economic sweet spot?

Also, self-driving isn't the same as knoweldge work but its probably good to think about in this debate cause it has much more definable kpi's when it comes to error rate compression then what you are chasing in the last mile of most knowledge work. Miles w/o a crash or fatal collision is easier to measure then a false citation in some corporate legal filing that gets a case flipped. But we as a society accept human error in driving and we historically have not tolerated machine error in same way. But human accountability is clearly a big deal in a lot of the last mile of value in knowledge work. You can get a model to do all the m&a deal work and still pay ur huge fees for someone to hold accountable. So, does that lead really have an economic fly-wheel? At minimum its worth pondering way more then most people been doing lately.

원문 링크 : https://twitter.com/akramsrazor/status/2076083699486163056

0개의 댓글

해외 반응

No	제목	닉네임	조회수	추천	등록일
제목
7115	이란 갈등에 비트코인 반등 시작	해외유저(G.Martín)	12	0	07-12 20:00
7114	10월부터 강세장 시작 예상	해외유저(Crypto To…)	10	0	07-12 20:13
7113	바닥 아직 아님	해외유저(Kaz)	11	0	07-12 20:30
7112	비트코인 강세 신호 조용히 나타남	해외유저(Crypto wi…)	11	0	07-12 20:34
7111	비트코인 수익 구간 비율 바닥권 근접	해외유저(Simon Des…)	9	0	07-12 20:35
7110	비트코인 고밴드에서 지지 찾는 중	해외유저(G a a h)	11	0	07-12 21:00
7109	비트코인 롱 유지 중, 66k 목표 계속	해외유저(Astronomer)	10	0	07-12 21:16
7108	비트코인 추세 상승세 타는 중	해외유저(Zord)	7	0	07-12 21:28
7107	BTC 고점 재테스트 후 바닥 다질 예정	해외유저(BLADE)	13	0	07-12 17:35
7106	S&P 500 강세장 근접, 나스닥 조정 중	해외유저(Matthias)	13	0	07-12 18:34
7105	비트코인 2022년 패턴 반복 중임	해외유저(Mister Cr…)	15	0	07-12 18:56
7104	최근 2주 BTC 가격 움직임 분석과 다음 주 전망	해외유저(JDK Analy…)	8	0	07-12 19:54
7103	비트코인은 여러 요소가 균형 잡힌 네트워크임	마이클 세일러(스…	15	0	07-12 19:02
7102	비트코인 포지션과 청산 현황	해외유저(PILTR)	12	0	07-12 16:14
7101	BTC와 SPX 강세장 다이버전스 포착	해외유저(Crypto Ro…)	14	0	07-12 16:17
7100	기업 비트코인 매수는 시장 상황에 좌우됨	해외유저(Mercek)	14	0	07-12 16:21
7099	비트코인 계속 상승 시도 중	해외유저(Chain Pul…)	12	0	07-12 17:58
7098	주식 고르는 법: 기대치 게임임	해외유저(Yaku)	11	0	07-12 11:16
7097	이번 주 닛피·뱅크 닛피 주요 변동 예상	해외유저(Gann_Hidd…)	12	0	07-12 14:19
7096	ETH/BTC가 알트시즌 시작 시점 결정함	해외유저(Crypto Pa…)	15	0	07-12 15:29
이란 갈등에 비트코인 반등 시작 해외유저(G.Martín) / 조회수 : 12 / 07-12 20:00
10월부터 강세장 시작 예상 해외유저(Crypto Tolga) / 조회수 : 10 / 07-12 20:13
바닥 아직 아님 해외유저(Kaz) / 조회수 : 11 / 07-12 20:30
비트코인 강세 신호 조용히 나타남 해외유저(Crypto with H…) / 조회수 : 11 / 07-12 20:34
비트코인 수익 구간 비율 바닥권 근접 해외유저(Simon Desue) / 조회수 : 9 / 07-12 20:35
비트코인 고밴드에서 지지 찾는 중 해외유저(G a a h) / 조회수 : 11 / 07-12 21:00
비트코인 롱 유지 중, 66k 목표 계속 해외유저(Astronomer) / 조회수 : 10 / 07-12 21:16
비트코인 추세 상승세 타는 중 해외유저(Zord) / 조회수 : 7 / 07-12 21:28
BTC 고점 재테스트 후 바닥 다질 예정 해외유저(BLADE) / 조회수 : 13 / 07-12 17:35
S&P 500 강세장 근접, 나스닥 조정 중 해외유저(Matthias) / 조회수 : 13 / 07-12 18:34
비트코인 2022년 패턴 반복 중임 해외유저(Mister Crypto) / 조회수 : 15 / 07-12 18:56

최근 2주 BTC 가격 움직임 분석과 다음 주 전망 해외유저(JDK Analysis …) / 조회수 : 8 / 07-12 19:54
비트코인은 여러 요소가 균형 잡힌 네트워크임 마이클 세일러(스트래… / 조회수 : 15 / 07-12 19:02
비트코인 포지션과 청산 현황 해외유저(PILTR) / 조회수 : 12 / 07-12 16:14
BTC와 SPX 강세장 다이버전스 포착 해외유저(Crypto Rover) / 조회수 : 14 / 07-12 16:17
기업 비트코인 매수는 시장 상황에 좌우됨 해외유저(Mercek) / 조회수 : 14 / 07-12 16:21
비트코인 계속 상승 시도 중 해외유저(Chain Pulse Ai) / 조회수 : 12 / 07-12 17:58
주식 고르는 법: 기대치 게임임 해외유저(Yaku) / 조회수 : 11 / 07-12 11:16
이번 주 닛피·뱅크 닛피 주요 변동 예상 해외유저(Gann_Hidden) / 조회수 : 12 / 07-12 14:19
ETH/BTC가 알트시즌 시작 시점 결정함 해외유저(Crypto Patel) / 조회수 : 15 / 07-12 15:29

❮❮ ❮ 6 7 8 9 10 ❯ ❯❯

코인톡

가격 게시판 코인 추가(최대 8개)

LLM 진짜 똑똑해진 건지 의문

상장빔 차트 확인해보세요