LLM 진짜 똑똑해진 건지 의문

거래소	실시간 시세	변동률	김치 프리미엄	거래량

해외유저(DaRazor)

07-12

요즘 LLM이 '초지능'이라는데 진짜 똑똑해진 게 뭔지 따져봐야 함. LLM은 인터넷 지식 다 손에 쥐고 있어서 기억력은 인간 초월 수준이고, 정보 합성 속도도 엄청 빠름. 퀴즈쇼에서 구글 검색보다 훨씬 빠르고 정확할 듯. 근데 최첨단 모델들이 똑똑해진 게 아니라 틀린 답 줄이고 프롬프트 잘 따르는 쪽으로 발전 중임. 결국 사람 개입 줄이는 게 목표라서 '지능 상승'이라기보단 오류율 줄이는 중임. 물론 이거 엄청 중요한 변화긴 한데, 경제적 가치 측면에서 보면 다른 얘기임. 오류율 줄이는 건 비용이 점점 더 많이 들고, 90%에서 99% 가는 게 0%에서 90% 가는 것보다 훨씬 어려움. 마지막 1%의 가치가 진짜 경제적으로 얼마나 큰지 따져봐야 함. 자율주행도 비슷한 논쟁에 참고할 만한데, 사고 없이 주행한 마일 수 같은 KPI가 명확해서 비교가 쉬움. 근데 인간 실수는 사회적으로 어느 정도 용인하는 반면, 기계 실수는 엄청 민감하게 봄. 지식 노동 마지막 단계는 인간 책임도 크게 작용해서, 모델이 M&A 같은 일 다 해도 결국 수수료는 계속 낼 수밖에 없음.

The most avg llm is "super-intelligent" now. But we really should ask what we mean by getting smarter. Is that what is happening? LLM's are superhuman on breadth of recall (they have the internet of knowledge at their fingertips) and effectively speed of very competent information synthesis (they can respond w reason very fast). Would be great at jeapordy vs someone trying to compete w google search who couldn't be close to fast enough as the best human contestants.

But what we are talking about with the frontier game should not be framed as some physics take on economic value of accuracy. Gerstner and the recursion gang talk as if the frontier is racing up an intelligence mountain to Ultron. I don't think this is the case. What the frontier models are actually selling are fewer supremely confident wrong answers and better prompt instruction following. Basically, less need for a human to intervene ever. That's not getting "smarter" in my book even though i'm sure plenty folks will disagree. That's really just error-rate compression. Not that this isn't a big deal as its kind of what determines when no human is needed at all for the most complex tasks, but economically u are chasing something different then the framing which shud be the focus.

I think most people would agree that error-rate compression has terrible scaling economics. Going from 90% to 99% costs enormously more than 0% to 90% did, and 99% to 99.9% is brutally worse. What's mining the last bitcoin cost ? Zero or a Zillion? Does it even matter? This is why you should seriously question the math on the last mile of "Smart" because that's not how the economic value of "Work" is measured. You should be asking how much economically valuable work lives in the last 10% or 1%? Is 93% + human reviewer the economic sweet spot?

Also, self-driving isn't the same as knoweldge work but its probably good to think about in this debate cause it has much more definable kpi's when it comes to error rate compression then what you are chasing in the last mile of most knowledge work. Miles w/o a crash or fatal collision is easier to measure then a false citation in some corporate legal filing that gets a case flipped. But we as a society accept human error in driving and we historically have not tolerated machine error in same way. But human accountability is clearly a big deal in a lot of the last mile of value in knowledge work. You can get a model to do all the m&a deal work and still pay ur huge fees for someone to hold accountable. So, does that lead really have an economic fly-wheel? At minimum its worth pondering way more then most people been doing lately.

원문 링크 : https://twitter.com/akramsrazor/status/2076083699486163056

0개의 댓글

해외 반응

No	제목	닉네임	조회수	추천	등록일
제목
7137	7월 실제 시장 상황 정리	해외유저(Minaa)	26	0	07-13 03:37
7136	코인 시장 바닥 다가오는 중	해외유저(Caesar Ca…)	20	0	07-12 23:05
7135	$BTC 완벽한 함정 만드는 중	해외유저(Void 🔎)	28	0	07-13 00:21
7134	비트코인 4년 주기설은 큰 착각임	해외유저(Solresear…)	27	0	07-13 00:30
7133	세일러도 오디널스와 비트코인 온체인 경제에 낙관적임	해외유저(J.Dog ᛤ)	33	0	07-13 00:36
7132	아직 시작 단계고 갈 길 멀음	해외유저(Zynx)	28	0	07-13 00:45
7131	비트코인 가치 구조로 본 현재 저평가 상태	해외유저(Adam Livi…)	25	0	07-13 00:49
7130	이번 사이클 최악은 아직 안 옴	해외유저(Mister Cr…)	28	0	07-13 00:57
7129	블랙록 CEO, 비트코인 강세장 시작이라 봄	해외유저(Crypto Fe…)	28	0	07-13 00:58
7128	비트코인 마지막 가짜 상승 가능성 있음	해외유저(AI Quant …)	26	0	07-13 01:11
7127	2분기 -28% 손실, 최악의 분기 기록	해외유저(Porter St…)	26	0	07-13 01:11
7126	이번 사이클은 비트코인 하락에도 유동성 거의 안 줄어듦	해외유저(Killa)	32	0	07-13 01:12
7125	비트코인 팔 사람 없음 문제	해외유저(Bitcoin N…)	29	0	07-13 01:33
7124	BTC 대규모 플래시 크래시 임박	해외유저(Crypto Le…)	22	0	07-13 01:49
7123	메타플래닛 현재 가치 괜찮음	해외유저(Adam Livi…)	26	0	07-13 01:57
7122	다음 상승 전 마지막 숨고르기 같음	해외유저(Tindorr 🌯)	25	0	07-12 22:08
7121	이번 사이클에 Puppies가 ETH랑 같이 오를 수도 있음	해외유저(MIDORI- p…)	33	0	07-12 22:27
7120	비트코인 바닥 10월 초 예상 중?	해외유저(HODL15Cap…)	25	0	07-12 22:30
7119	BTC 아직 HTF 하락 쐐기 패턴 지키는 중	해외유저(Philanthr…)	22	0	07-12 22:34
7118	BTC 마지막 속임수 중임	해외유저(NoName)	31	0	07-12 22:40
7월 실제 시장 상황 정리 해외유저(Minaa) / 조회수 : 26 / 07-13 03:37
코인 시장 바닥 다가오는 중 해외유저(Caesar Capital) / 조회수 : 20 / 07-12 23:05
$BTC 완벽한 함정 만드는 중 해외유저(Void 🔎) / 조회수 : 28 / 07-13 00:21
비트코인 4년 주기설은 큰 착각임 해외유저(Solresearcher…) / 조회수 : 27 / 07-13 00:30
세일러도 오디널스와 비트코인 온체인 경제에 낙관적임 해외유저(J.Dog ᛤ) / 조회수 : 33 / 07-13 00:36
아직 시작 단계고 갈 길 멀음 해외유저(Zynx) / 조회수 : 28 / 07-13 00:45
비트코인 가치 구조로 본 현재 저평가 상태 해외유저(Adam Livingst…) / 조회수 : 25 / 07-13 00:49
이번 사이클 최악은 아직 안 옴 해외유저(Mister Crypto) / 조회수 : 28 / 07-13 00:57
블랙록 CEO, 비트코인 강세장 시작이라 봄 해외유저(Crypto Fergani) / 조회수 : 28 / 07-13 00:58
비트코인 마지막 가짜 상승 가능성 있음 해외유저(AI Quant Trad…) / 조회수 : 26 / 07-13 01:11
2분기 -28% 손실, 최악의 분기 기록 해외유저(Porter Stansb…) / 조회수 : 26 / 07-13 01:11

이번 사이클은 비트코인 하락에도 유동성 거의 안 줄어듦 해외유저(Killa) / 조회수 : 32 / 07-13 01:12
비트코인 팔 사람 없음 문제 해외유저(Bitcoin News …) / 조회수 : 29 / 07-13 01:33
BTC 대규모 플래시 크래시 임박 해외유저(Crypto Lens) / 조회수 : 22 / 07-13 01:49
메타플래닛 현재 가치 괜찮음 해외유저(Adam Livingst…) / 조회수 : 26 / 07-13 01:57
다음 상승 전 마지막 숨고르기 같음 해외유저(Tindorr 🌯) / 조회수 : 25 / 07-12 22:08
이번 사이클에 Puppies가 ETH랑 같이 오를 수도 있음 해외유저(MIDORI- puppi…) / 조회수 : 33 / 07-12 22:27
비트코인 바닥 10월 초 예상 중? 해외유저(HODL15Capital…) / 조회수 : 25 / 07-12 22:30
BTC 아직 HTF 하락 쐐기 패턴 지키는 중 해외유저(Philanthrop) / 조회수 : 22 / 07-12 22:34
BTC 마지막 속임수 중임 해외유저(NoName) / 조회수 : 31 / 07-12 22:40

❮❮ ❮ 26 27 28 29 30 ❯ ❯❯

코인톡

가격 게시판 코인 추가(최대 8개)

LLM 진짜 똑똑해진 건지 의문

상장빔 차트 확인해보세요