LLM 진짜 똑똑해진 건지 의문

거래소	실시간 시세	변동률	김치 프리미엄	거래량

해외유저(DaRazor)

07-12

요즘 LLM이 '초지능'이라는데 진짜 똑똑해진 게 뭔지 따져봐야 함. LLM은 인터넷 지식 다 손에 쥐고 있어서 기억력은 인간 초월 수준이고, 정보 합성 속도도 엄청 빠름. 퀴즈쇼에서 구글 검색보다 훨씬 빠르고 정확할 듯. 근데 최첨단 모델들이 똑똑해진 게 아니라 틀린 답 줄이고 프롬프트 잘 따르는 쪽으로 발전 중임. 결국 사람 개입 줄이는 게 목표라서 '지능 상승'이라기보단 오류율 줄이는 중임. 물론 이거 엄청 중요한 변화긴 한데, 경제적 가치 측면에서 보면 다른 얘기임. 오류율 줄이는 건 비용이 점점 더 많이 들고, 90%에서 99% 가는 게 0%에서 90% 가는 것보다 훨씬 어려움. 마지막 1%의 가치가 진짜 경제적으로 얼마나 큰지 따져봐야 함. 자율주행도 비슷한 논쟁에 참고할 만한데, 사고 없이 주행한 마일 수 같은 KPI가 명확해서 비교가 쉬움. 근데 인간 실수는 사회적으로 어느 정도 용인하는 반면, 기계 실수는 엄청 민감하게 봄. 지식 노동 마지막 단계는 인간 책임도 크게 작용해서, 모델이 M&A 같은 일 다 해도 결국 수수료는 계속 낼 수밖에 없음.

The most avg llm is "super-intelligent" now. But we really should ask what we mean by getting smarter. Is that what is happening? LLM's are superhuman on breadth of recall (they have the internet of knowledge at their fingertips) and effectively speed of very competent information synthesis (they can respond w reason very fast). Would be great at jeapordy vs someone trying to compete w google search who couldn't be close to fast enough as the best human contestants.

But what we are talking about with the frontier game should not be framed as some physics take on economic value of accuracy. Gerstner and the recursion gang talk as if the frontier is racing up an intelligence mountain to Ultron. I don't think this is the case. What the frontier models are actually selling are fewer supremely confident wrong answers and better prompt instruction following. Basically, less need for a human to intervene ever. That's not getting "smarter" in my book even though i'm sure plenty folks will disagree. That's really just error-rate compression. Not that this isn't a big deal as its kind of what determines when no human is needed at all for the most complex tasks, but economically u are chasing something different then the framing which shud be the focus.

I think most people would agree that error-rate compression has terrible scaling economics. Going from 90% to 99% costs enormously more than 0% to 90% did, and 99% to 99.9% is brutally worse. What's mining the last bitcoin cost ? Zero or a Zillion? Does it even matter? This is why you should seriously question the math on the last mile of "Smart" because that's not how the economic value of "Work" is measured. You should be asking how much economically valuable work lives in the last 10% or 1%? Is 93% + human reviewer the economic sweet spot?

Also, self-driving isn't the same as knoweldge work but its probably good to think about in this debate cause it has much more definable kpi's when it comes to error rate compression then what you are chasing in the last mile of most knowledge work. Miles w/o a crash or fatal collision is easier to measure then a false citation in some corporate legal filing that gets a case flipped. But we as a society accept human error in driving and we historically have not tolerated machine error in same way. But human accountability is clearly a big deal in a lot of the last mile of value in knowledge work. You can get a model to do all the m&a deal work and still pay ur huge fees for someone to hold accountable. So, does that lead really have an economic fly-wheel? At minimum its worth pondering way more then most people been doing lately.

원문 링크 : https://twitter.com/akramsrazor/status/2076083699486163056

0개의 댓글

해외 반응

No	제목	닉네임	조회수	추천	등록일
제목
7164	이번 사이클에 달릴 코인 많을 듯	해외유저(Ripper)	38	0	07-13 15:00
7163	피델리티 모델, 비트코인 최종 조정 가능성 있음	해외유저(Whale Fac…)	26	0	07-13 15:43
7162	비트코인 영향력은 노력으로 얻음	마이클 세일러(스…	38	0	07-13 15:08
7161	BAYC 구매는 두 가지 타입임	해외유저(Buuvei)	32	0	07-13 10:30
7160	스파크 관련 오해 정리함	해외유저(Kevin Hur…)	25	0	07-13 10:50
7159	스팟과 선물, 뭐가 더 나은지 물어봄	해외유저(H A R L E…)	26	0	07-13 03:37
7158	비트코인 가격 하락 기다리다간 손해봄	해외유저(Ron Sover…)	25	0	07-13 05:57
7157	비트코인 2주 차트 셋업 중	해외유저(G.Martín)	28	0	07-13 06:00
7156	크립토펑크 구매는 두 가지 카테고리임	해외유저(0xOreo)	33	0	07-13 06:05
7155	아직 바닥 아님	해외유저(Void 🔎)	27	0	07-13 06:40
7154	비트코인 여기서 강세장임?	해외유저(khalil_tr…)	25	0	07-13 07:28
7153	스팟과 선물 거래 차이 제대로 알아야 함	해외유저(Carolina)	21	0	07-13 03:31
7152	$BTC 7만 달러 FVG 닫으려는 중	해외유저(MARMOT)	24	0	07-13 04:06
7151	지금이 강세장 초입인 이유 시각화	해외유저(doug funn…)	27	0	07-13 04:23
7150	비트코인 7만 달러 구간 테스트 예상	해외유저(wulf)	30	0	07-13 04:54
7149	레오폴드 애셴브레너가 HIVE 주식 산 이유	해외유저(Richard)	32	0	07-13 05:02
7148	최근 7일간 BTC 청산 데이터 분석	해외유저(CGT Trader)	33	0	07-13 05:08
7147	SPX 딜러 숏 감마 진입 여부와 BTC 7월 중기 강세장 전망	해외유저(Trout)	30	0	07-13 05:52
7146	$XLM과 $TAO 강세 신호 감지 중	해외유저(ANATOLII …)	34	0	07-13 00:49
7145	비트코인 6만 달러 밑으로는 잘 안 내려감	해외유저(Ron Sover…)	32	0	07-13 00:57
이번 사이클에 달릴 코인 많을 듯 해외유저(Ripper) / 조회수 : 38 / 07-13 15:00
피델리티 모델, 비트코인 최종 조정 가능성 있음 해외유저(Whale Factor) / 조회수 : 26 / 07-13 15:43
비트코인 영향력은 노력으로 얻음 마이클 세일러(스트래… / 조회수 : 38 / 07-13 15:08
BAYC 구매는 두 가지 타입임 해외유저(Buuvei) / 조회수 : 32 / 07-13 10:30
스파크 관련 오해 정리함 해외유저(Kevin Hurley) / 조회수 : 25 / 07-13 10:50
스팟과 선물, 뭐가 더 나은지 물어봄 해외유저(H A R L E Y) / 조회수 : 26 / 07-13 03:37
비트코인 가격 하락 기다리다간 손해봄 해외유저(Ron Sovereign…) / 조회수 : 25 / 07-13 05:57
비트코인 2주 차트 셋업 중 해외유저(G.Martín) / 조회수 : 28 / 07-13 06:00
크립토펑크 구매는 두 가지 카테고리임 해외유저(0xOreo) / 조회수 : 33 / 07-13 06:05
아직 바닥 아님 해외유저(Void 🔎) / 조회수 : 27 / 07-13 06:40
비트코인 여기서 강세장임? 해외유저(khalil_trader) / 조회수 : 25 / 07-13 07:28

스팟과 선물 거래 차이 제대로 알아야 함 해외유저(Carolina) / 조회수 : 21 / 07-13 03:31
$BTC 7만 달러 FVG 닫으려는 중 해외유저(MARMOT) / 조회수 : 24 / 07-13 04:06
지금이 강세장 초입인 이유 시각화 해외유저(doug funnie) / 조회수 : 27 / 07-13 04:23
비트코인 7만 달러 구간 테스트 예상 해외유저(wulf) / 조회수 : 30 / 07-13 04:54
레오폴드 애셴브레너가 HIVE 주식 산 이유 해외유저(Richard) / 조회수 : 32 / 07-13 05:02
최근 7일간 BTC 청산 데이터 분석 해외유저(CGT Trader) / 조회수 : 33 / 07-13 05:08
SPX 딜러 숏 감마 진입 여부와 BTC 7월 중기 강세장 전망 해외유저(Trout) / 조회수 : 30 / 07-13 05:52
$XLM과 $TAO 강세 신호 감지 중 해외유저(ANATOLII VOLF) / 조회수 : 34 / 07-13 00:49
비트코인 6만 달러 밑으로는 잘 안 내려감 해외유저(Ron Sovereign…) / 조회수 : 32 / 07-13 00:57

❮❮ ❮ 26 27 28 29 30 ❯ ❯❯

코인톡

가격 게시판 코인 추가(최대 8개)

LLM 진짜 똑똑해진 건지 의문

상장빔 차트 확인해보세요