LLM 진짜 똑똑해진 건지 의문

거래소	실시간 시세	변동률	김치 프리미엄	거래량

해외유저(DaRazor)

07-12

요즘 LLM이 '초지능'이라는데 진짜 똑똑해진 게 뭔지 따져봐야 함. LLM은 인터넷 지식 다 손에 쥐고 있어서 기억력은 인간 초월 수준이고, 정보 합성 속도도 엄청 빠름. 퀴즈쇼에서 구글 검색보다 훨씬 빠르고 정확할 듯. 근데 최첨단 모델들이 똑똑해진 게 아니라 틀린 답 줄이고 프롬프트 잘 따르는 쪽으로 발전 중임. 결국 사람 개입 줄이는 게 목표라서 '지능 상승'이라기보단 오류율 줄이는 중임. 물론 이거 엄청 중요한 변화긴 한데, 경제적 가치 측면에서 보면 다른 얘기임. 오류율 줄이는 건 비용이 점점 더 많이 들고, 90%에서 99% 가는 게 0%에서 90% 가는 것보다 훨씬 어려움. 마지막 1%의 가치가 진짜 경제적으로 얼마나 큰지 따져봐야 함. 자율주행도 비슷한 논쟁에 참고할 만한데, 사고 없이 주행한 마일 수 같은 KPI가 명확해서 비교가 쉬움. 근데 인간 실수는 사회적으로 어느 정도 용인하는 반면, 기계 실수는 엄청 민감하게 봄. 지식 노동 마지막 단계는 인간 책임도 크게 작용해서, 모델이 M&A 같은 일 다 해도 결국 수수료는 계속 낼 수밖에 없음.

The most avg llm is "super-intelligent" now. But we really should ask what we mean by getting smarter. Is that what is happening? LLM's are superhuman on breadth of recall (they have the internet of knowledge at their fingertips) and effectively speed of very competent information synthesis (they can respond w reason very fast). Would be great at jeapordy vs someone trying to compete w google search who couldn't be close to fast enough as the best human contestants.

But what we are talking about with the frontier game should not be framed as some physics take on economic value of accuracy. Gerstner and the recursion gang talk as if the frontier is racing up an intelligence mountain to Ultron. I don't think this is the case. What the frontier models are actually selling are fewer supremely confident wrong answers and better prompt instruction following. Basically, less need for a human to intervene ever. That's not getting "smarter" in my book even though i'm sure plenty folks will disagree. That's really just error-rate compression. Not that this isn't a big deal as its kind of what determines when no human is needed at all for the most complex tasks, but economically u are chasing something different then the framing which shud be the focus.

I think most people would agree that error-rate compression has terrible scaling economics. Going from 90% to 99% costs enormously more than 0% to 90% did, and 99% to 99.9% is brutally worse. What's mining the last bitcoin cost ? Zero or a Zillion? Does it even matter? This is why you should seriously question the math on the last mile of "Smart" because that's not how the economic value of "Work" is measured. You should be asking how much economically valuable work lives in the last 10% or 1%? Is 93% + human reviewer the economic sweet spot?

Also, self-driving isn't the same as knoweldge work but its probably good to think about in this debate cause it has much more definable kpi's when it comes to error rate compression then what you are chasing in the last mile of most knowledge work. Miles w/o a crash or fatal collision is easier to measure then a false citation in some corporate legal filing that gets a case flipped. But we as a society accept human error in driving and we historically have not tolerated machine error in same way. But human accountability is clearly a big deal in a lot of the last mile of value in knowledge work. You can get a model to do all the m&a deal work and still pay ur huge fees for someone to hold accountable. So, does that lead really have an economic fly-wheel? At minimum its worth pondering way more then most people been doing lately.

원문 링크 : https://twitter.com/akramsrazor/status/2076083699486163056

0개의 댓글

해외 반응

No	제목	닉네임	조회수	추천	등록일
제목
7099	비트코인 계속 상승 시도 중	해외유저(Chain Pul…)	6	0	07-12 17:58
7098	주식 고르는 법: 기대치 게임임	해외유저(Yaku)	6	0	07-12 11:16
7097	이번 주 닛피·뱅크 닛피 주요 변동 예상	해외유저(Gann_Hidd…)	5	0	07-12 14:19
7096	ETH/BTC가 알트시즌 시작 시점 결정함	해외유저(Crypto Pa…)	9	0	07-12 15:29
7095	암호화폐 분위기 강세장 전환 중임	해외유저(Mike)	7	0	07-12 02:35
7094	영국 월드컵 8강 승리, NFT·코인 시세 동향	해외유저(Blue 💙🐺🐐)	7	0	07-12 09:40
7093	중요한 비밀 키 캔스터에 넣으면 안 됨	해외유저(Snassy.icp)	7	0	07-12 07:07
7092	4년 주기 무시하던 강세론자들 아이러니	해외유저(G.Martín)	5	0	07-12 08:15
7091	LLM 진짜 똑똑해진 건지 의문	해외유저(DaRazor)	6	0	07-12 08:18
7090	CZ가 200만 개 이상 ASTER 토큰 보유 중임	해외유저(JAKE)	4	0	07-12 09:06
7089	비트코인 200EMA 지지 강하게 지키는 중	해외유저(CryptoFro…)	5	0	07-12 09:10
7088	비트코인 64,400 저항 재확인	해외유저(Tonix_c.hl)	6	0	07-12 01:15
7087	비트코인 본드, 다음 채택 물결의 다크호스임	해외유저(CJK)	6	0	07-12 06:25
7086	전통시장 패러볼릭 구조, 암호화폐 사이클에 악영향	해외유저(Matthias)	5	0	07-12 07:01
7085	비트코인 6만4천 달러, 이더 1800달러 근접	해외유저(yourfrien…)	4	0	07-12 07:07
7084	QT 중에도 비트코인 랠리 가능했던 이유	해외유저(G.Martín)	4	0	07-12 00:45
7083	일시적 반등 가능성 보임	해외유저(CJ Bennett)	4	0	07-12 04:16
7082	BTC가 SPX 대비 강세 시작 지점임	해외유저(Moe)	5	0	07-12 04:31
7081	비트코인 바닥 신호 감지 중	해외유저(Minga)	5	0	07-12 04:31
7080	BTC 67-70K 구간에서 유동성 노리는 중	해외유저(𝗖𝗛𝗔𝗜𝗡 𝗠𝗜𝗡…)	5	0	07-12 04:44
비트코인 계속 상승 시도 중 해외유저(Chain Pulse Ai) / 조회수 : 6 / 07-12 17:58
주식 고르는 법: 기대치 게임임 해외유저(Yaku) / 조회수 : 6 / 07-12 11:16
이번 주 닛피·뱅크 닛피 주요 변동 예상 해외유저(Gann_Hidden) / 조회수 : 5 / 07-12 14:19
ETH/BTC가 알트시즌 시작 시점 결정함 해외유저(Crypto Patel) / 조회수 : 9 / 07-12 15:29
암호화폐 분위기 강세장 전환 중임 해외유저(Mike) / 조회수 : 7 / 07-12 02:35
영국 월드컵 8강 승리, NFT·코인 시세 동향 해외유저(Blue 💙🐺🐐) / 조회수 : 7 / 07-12 09:40
중요한 비밀 키 캔스터에 넣으면 안 됨 해외유저(Snassy.icp) / 조회수 : 7 / 07-12 07:07
4년 주기 무시하던 강세론자들 아이러니 해외유저(G.Martín) / 조회수 : 5 / 07-12 08:15
LLM 진짜 똑똑해진 건지 의문 해외유저(DaRazor) / 조회수 : 6 / 07-12 08:18
CZ가 200만 개 이상 ASTER 토큰 보유 중임 해외유저(JAKE) / 조회수 : 4 / 07-12 09:06
비트코인 200EMA 지지 강하게 지키는 중 해외유저(CryptoFrog 🐸) / 조회수 : 5 / 07-12 09:10

비트코인 64,400 저항 재확인 해외유저(Tonix_c.hl) / 조회수 : 6 / 07-12 01:15
비트코인 본드, 다음 채택 물결의 다크호스임 해외유저(CJK) / 조회수 : 6 / 07-12 06:25
전통시장 패러볼릭 구조, 암호화폐 사이클에 악영향 해외유저(Matthias) / 조회수 : 5 / 07-12 07:01
비트코인 6만4천 달러, 이더 1800달러 근접 해외유저(yourfriendSOM…) / 조회수 : 4 / 07-12 07:07
QT 중에도 비트코인 랠리 가능했던 이유 해외유저(G.Martín) / 조회수 : 4 / 07-12 00:45
일시적 반등 가능성 보임 해외유저(CJ Bennett) / 조회수 : 4 / 07-12 04:16
BTC가 SPX 대비 강세 시작 지점임 해외유저(Moe) / 조회수 : 5 / 07-12 04:31
비트코인 바닥 신호 감지 중 해외유저(Minga) / 조회수 : 5 / 07-12 04:31
BTC 67-70K 구간에서 유동성 노리는 중 해외유저(𝗖𝗛𝗔𝗜𝗡 𝗠𝗜𝗡𝗗 ⛓🧠) / 조회수 : 5 / 07-12 04:44

❮❮ ❮ 1 2 3 4 5 ❯ ❯❯

코인톡

가격 게시판 코인 추가(최대 8개)

LLM 진짜 똑똑해진 건지 의문

상장빔 차트 확인해보세요