Week 7: Most of Your Data Is Not Teaching Anything

Week 7: Most of Your Data Is Not Teaching Anything - CSC/EE 8001

import%20marimo%0A%0A__generated_with%20%3D%20%220.24.0%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20app_title%3D%22Week%207%20-%20Most%20of%20Your%20Data%20Is%20Not%20Teaching%20Anything%22%2C%0A)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20json%0A%0A%20%20%20%20return%20json%2C%20mo%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(json%2C%20mo)%3A%0A%20%20%20%20%23%20Progress%20saving.%20On%20the%20course%20site%2C%20labs%2Fgate%2Fgate.js%20signs%20the%20student%20in%0A%20%20%20%20%23%20and%20tags%20this%20tab%20with%20an%20%22rl%22%20query%20parameter.%20The%20notebook%20runs%20in%20a%20web%0A%20%20%20%20%23%20worker%2C%20so%20it%20talks%20to%20that%20script%20over%20a%20BroadcastChannel%20named%20after%20the%0A%20%20%20%20%23%20tag%2C%20and%20the%20script%20makes%20the%20API%20calls.%20Opened%20any%20other%20way%20(marimo%20edit%2C%0A%20%20%20%20%23%20a%20plain%20export)%20there%20is%20no%20tag%20and%20nothing%20is%20saved.%0A%20%20%20%20import%20sys%20as%20_sys%0A%0A%20%20%20%20class%20LabSync%3A%0A%20%20%20%20%20%20%20%20def%20__init__(self%2C%20tab)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20js%20import%20BroadcastChannel%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20pyodide.ffi%20import%20create_proxy%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.state%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20self.last_submitted%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20self._waiting%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20self._channel%20%3D%20BroadcastChannel.new(%22radiant-lab-%22%20%2B%20tab)%0A%20%20%20%20%20%20%20%20%20%20%20%20self._listener%20%3D%20create_proxy(self._receive)%0A%20%20%20%20%20%20%20%20%20%20%20%20self._channel.onmessage%20%3D%20self._listener%0A%0A%20%20%20%20%20%20%20%20def%20_receive(self%2C%20event)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20message%20%3D%20json.loads(event.data)%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20(TypeError%2C%20ValueError)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%0A%20%20%20%20%20%20%20%20%20%20%20%20waiting%20%3D%20self._waiting.pop(message.get(%22id%22)%2C%20None)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20waiting%20is%20not%20None%20and%20not%20waiting.done()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20waiting.set_result(message)%0A%0A%20%20%20%20%20%20%20%20def%20_send(self%2C%20op%2C%20message_id%2C%20**fields)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20message%20%3D%20%7B%22id%22%3A%20message_id%2C%20%22op%22%3A%20op%2C%20%22from%22%3A%20%22notebook%22%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20message.update(fields)%0A%20%20%20%20%20%20%20%20%20%20%20%20self._channel.postMessage(json.dumps(message))%0A%0A%20%20%20%20%20%20%20%20async%20def%20_request(self%2C%20op%2C%20timeout%3DNone%2C%20**fields)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20asyncio%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20uuid%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20message_id%20%3D%20uuid.uuid4().hex%0A%20%20%20%20%20%20%20%20%20%20%20%20reply%20%3D%20asyncio.get_event_loop().create_future()%0A%20%20%20%20%20%20%20%20%20%20%20%20self._waiting%5Bmessage_id%5D%20%3D%20reply%0A%20%20%20%20%20%20%20%20%20%20%20%20self._send(op%2C%20message_id%2C%20**fields)%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20await%20(reply%20if%20timeout%20is%20None%20else%20asyncio.wait_for(reply%2C%20timeout))%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20asyncio.TimeoutError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%7B%22ok%22%3A%20False%2C%20%22error%22%3A%20%22the%20page%20did%20not%20answer%20in%20time%22%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20finally%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self._waiting.pop(message_id%2C%20None)%0A%0A%20%20%20%20%20%20%20%20async%20def%20load(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Wait%20for%20sign-in%2C%20then%20return%20what%20this%20student%20saved%20before.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20reply%20%3D%20await%20self._request(%22load%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20self.state%20%3D%20dict(reply.get(%22state%22)%20or%20%7B%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20reply%0A%0A%20%20%20%20%20%20%20%20def%20record(self%2C%20**answers)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Remember%20these%20answers%3B%20the%20page%20saves%20them%20a%20moment%20later.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20uuid%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20changed%20%3D%20%7Bk%3A%20v%20for%20k%2C%20v%20in%20answers.items()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20k%20not%20in%20self.state%20or%20self.state%5Bk%5D%20!%3D%20v%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20changed%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.state.update(changed)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self._send(%22save%22%2C%20uuid.uuid4().hex%2C%20state%3Dself.state)%0A%0A%20%20%20%20%20%20%20%20def%20record_once(self%2C%20**answers)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22For%20marked%20questions%3A%20the%20first%20answer%20is%20the%20one%20that%20counts.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20fresh%20%3D%20%7Bk%3A%20v%20for%20k%2C%20v%20in%20answers.items()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20v%20is%20not%20None%20and%20self.state.get(k)%20is%20None%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20fresh%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.record(**fresh)%0A%0A%20%20%20%20%20%20%20%20async%20def%20submit(self%2C%20**answers)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Save%20everything%20now%20and%20mark%20the%20lab%20as%20submitted.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20self.state.update(answers)%0A%20%20%20%20%20%20%20%20%20%20%20%20reply%20%3D%20await%20self._request(%22submit%22%2C%20timeout%3D45%2C%20state%3Dself.state)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20reply.get(%22ok%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.last_submitted%20%3D%20reply.get(%22submittedAt%22)%20or%20%22today%22%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20reply%0A%0A%20%20%20%20def%20pick(options%2C%20value)%3A%0A%20%20%20%20%20%20%20%20%22%22%22The%20label%20a%20radio%20should%20show%20for%20a%20saved%20value%2C%20or%20None.%22%22%22%0A%20%20%20%20%20%20%20%20return%20next((label%20for%20label%2C%20v%20in%20options.items()%20if%20v%20%3D%3D%20value)%2C%20None)%0A%0A%20%20%20%20lab_sync%20%3D%20None%0A%20%20%20%20lab_status%20%3D%20%7B%7D%0A%20%20%20%20saved%20%3D%20%7B%7D%0A%20%20%20%20locked%20%3D%20False%0A%20%20%20%20_tab%20%3D%20mo.query_params().get(%22rl%22)%20if%20%22pyodide%22%20in%20_sys.modules%20else%20None%0A%20%20%20%20if%20_tab%3A%0A%20%20%20%20%20%20%20%20lab_sync%20%3D%20LabSync(_tab)%0A%20%20%20%20%20%20%20%20lab_status%20%3D%20await%20lab_sync.load()%0A%20%20%20%20%20%20%20%20saved%20%3D%20dict(lab_sync.state)%0A%20%20%20%20%20%20%20%20%23%20Handed%20in%20means%20read-only%3A%20the%20server%20refuses%20any%20further%20writes%2C%0A%20%20%20%20%20%20%20%20%23%20so%20every%20control%20on%20the%20page%20is%20disabled%20to%20match.%0A%20%20%20%20%20%20%20%20locked%20%3D%20bool(lab_status.get(%22locked%22)%20or%20lab_status.get(%22submitted%22))%0A%20%20%20%20return%20lab_status%2C%20lab_sync%2C%20locked%2C%20pick%2C%20saved%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20Which%20marked%20questions%20have%20been%20answered.%20These%20count%20towards%20the%20grade%2C%20so%0A%20%20%20%20%23%20each%20one%20takes%20a%20single%20answer%20and%20then%20stops%20accepting%20input.%0A%20%20%20%20get_given%2C%20set_given%20%3D%20mo.state(%7B%7D)%0A%20%20%20%20return%20get_given%2C%20set_given%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(get_given%2C%20locked%2C%20mo%2C%20pick%2C%20saved%2C%20set_given)%3A%0A%20%20%20%20def%20ask(prompt%2C%20options%2C%20correct%2C%20because%2C%20key)%3A%0A%20%20%20%20%20%20%20%20%22%22%22A%20marked%20question.%20One%20answer%2C%20then%20the%20explanation.%20No%20second%20go.%22%22%22%0A%20%20%20%20%20%20%20%20labels%20%3D%20%7Bvalue%3A%20label%20for%20label%2C%20value%20in%20options.items()%7D%0A%20%20%20%20%20%20%20%20BREAK%20%3D%20chr(10)%20%2B%20chr(10)%0A%20%20%20%20%20%20%20%20given%20%3D%20get_given().get(key%2C%20saved.get(key))%0A%0A%20%20%20%20%20%20%20%20def%20choose(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20value%20is%20not%20None%20and%20get_given().get(key%2C%20saved.get(key))%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20set_given(lambda%20d%3A%20dict(d%2C%20**%7Bkey%3A%20value%7D))%0A%0A%20%20%20%20%20%20%20%20radio%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%20%20%20%20options%3Doptions%2C%20label%3Dprompt%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3Dpick(options%2C%20given)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%20or%20given%20is%20not%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20on_change%3Dchoose%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20def%20render(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20answer%20%3D%20given%20if%20given%20is%20not%20None%20else%20value%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20answer%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22This%20one%20is%20marked%2C%20so%20you%20get%20one%20answer.%20Take%20a%20moment.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22neutral%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20ok%20%3D%20answer%20%3D%3D%20correct%0A%20%20%20%20%20%20%20%20%20%20%20%20head%20%3D%20(%22**Right.**%20%22%20if%20ok%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20f%22**Not%20quite.%20The%20answer%20is%20_%7Blabels%5Bcorrect%5D%7D_.**%20%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(head%20%2B%20BREAK%20%2B%20because)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22success%22%20if%20ok%20else%20%22warn%22)%0A%0A%20%20%20%20%20%20%20%20def%20summarise(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20answer%20%3D%20given%20if%20given%20is%20not%20None%20else%20value%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20answer%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%22not%20answered%22%2C%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20labels%5Banswer%5D%2C%20answer%20%3D%3D%20correct%0A%0A%20%20%20%20%20%20%20%20return%20radio%2C%20render%2C%20summarise%0A%0A%20%20%20%20return%20(ask%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20LAB_CSS%20%3D%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cstyle%3E%0A%20%20%20%20%20%20%20%20%20%20.w7-hero%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-left%3A%206px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20%23fffef8%3B%20border-radius%3A%2012px%3B%20padding%3A%2020px%2024px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-eyebrow%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.76rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.08em%3B%20text-transform%3A%20uppercase%3B%20margin%3A%200%200%208px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-hero%20h1%20%7B%20margin%3A%200%200%208px%3B%20font-size%3A%201.75rem%3B%20color%3A%20%23111%3B%20line-height%3A%201.2%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-hero%20p.sub%20%7B%20margin%3A%200%3B%20color%3A%20%233a3a3a%3B%20font-size%3A%201.02rem%3B%20line-height%3A%201.65%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-hero%20p.sub%20code%20%7B%20background%3A%20%23fff3cc%3B%20border%3A%201px%20solid%20%23f2dfaa%3B%20padding%3A%200%205px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%204px%3B%20font-size%3A%20.92rem%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-chips%20%7B%20display%3A%20flex%3B%20flex-wrap%3A%20wrap%3B%20gap%3A%208px%3B%20margin-top%3A%2014px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-chip%20%7B%20border%3A%201px%20solid%20%23f2dfaa%3B%20background%3A%20%23fff3cc%3B%20color%3A%20%2362490a%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%20999px%3B%20padding%3A%204px%2011px%3B%20font-size%3A%20.72rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20800%3B%20letter-spacing%3A%20.04em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-chip-plain%20%7B%20border-color%3A%20%23e0e0e0%3B%20background%3A%20%23f4f4f4%3B%20color%3A%20%234a4a4a%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w7-split%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%201.6fr%201fr%3B%20gap%3A%2024px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20start%3B%20margin%3A%204px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20900px)%20%7B%20.w7-split%20%7B%20grid-template-columns%3A%201fr%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-split%20%3E%20.body%20p%20%7B%20margin%3A%200%200%2012px%3B%20color%3A%20%232f2f2f%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A%201rem%3B%20line-height%3A%201.7%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-split%20%3E%20.body%20p%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-split%20code%20%7B%20background%3A%20%23f4f4f4%3B%20padding%3A%201px%205px%3B%20border-radius%3A%204px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A%20.88rem%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w7-aside%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-top%3A%204px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20background%3A%20%23fcfcfc%3B%20padding%3A%2015px%2017px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-aside%20h4%20%7B%20margin%3A%200%200%2010px%3B%20padding-left%3A%2024px%3B%20font-size%3A%20.76rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%236a5314%3B%20font-weight%3A%20800%3B%20letter-spacing%3A%20.06em%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-aside%20ol%20%7B%20margin%3A%200%3B%20padding-left%3A%2024px%3B%20list-style%3A%20decimal%20outside%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-aside%20li%20%7B%20color%3A%20%232f2f2f%3B%20font-size%3A%20.91rem%3B%20line-height%3A%201.5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin-bottom%3A%209px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-aside%20li%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-aside%20li%3A%3Amarker%20%7B%20color%3A%20%236a5314%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-aside%20.meta%20%7B%20border-top%3A%201px%20solid%20%23ececec%3B%20margin-top%3A%2013px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding-top%3A%2011px%3B%20padding-left%3A%2024px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-aside%20.meta%20div%20%7B%20display%3A%20flex%3B%20justify-content%3A%20space-between%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gap%3A%2010px%3B%20font-size%3A%20.85rem%3B%20margin-bottom%3A%206px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-aside%20.meta%20div%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-aside%20.meta%20dt%20%7B%20color%3A%20%236f6f6f%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-aside%20.meta%20dd%20%7B%20margin%3A%200%3B%20color%3A%20%23111%3B%20font-weight%3A%20700%3B%20text-align%3A%20right%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w7-question%20%7B%20border%3A%201px%20solid%20%23f2dfaa%3B%20background%3A%20%23fffdf5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20padding%3A%2014px%2018px%3B%20margin%3A%2018px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-question%20.lbl%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.74rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.06em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-question%20p%20%7B%20margin%3A%206px%200%200%3B%20color%3A%20%23111%3B%20font-size%3A%201.06rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.55%3B%20font-style%3A%20italic%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-question%20code%20%7B%20font-style%3A%20normal%3B%20background%3A%20%23f4f4f4%3B%20padding%3A%201px%205px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%204px%3B%20font-size%3A%20.88rem%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w7-note%20%7B%20color%3A%20%236f6f6f%3B%20font-size%3A%20.85rem%3B%20margin%3A%202px%200%200%3B%20line-height%3A%201.5%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w7-grid%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20repeat(auto-fit%2C%20minmax(150px%2C%201fr))%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gap%3A%2012px%3B%20margin%3A%2014px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-stat%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-radius%3A%2010px%3B%20background%3A%20%23fff%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2011px%2013px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-stat%20.k%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.72rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.05em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-stat%20.v%20%7B%20display%3A%20block%3B%20color%3A%20%23111%3B%20font-size%3A%201.45rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.2%3B%20margin-top%3A%202px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-stat%20.why%20%7B%20display%3A%20block%3B%20color%3A%20%236f6f6f%3B%20font-size%3A%20.78rem%3B%20margin-top%3A%203px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.4%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-stat.green%20.v%20%7B%20color%3A%20%232e7d32%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-stat.red%20.v%20%7B%20color%3A%20%23c62828%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w7-axis%20%7B%20position%3A%20relative%3B%20height%3A%2096px%3B%20margin%3A%2020px%200%206px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-radius%3A%2012px%3B%20background%3A%20%23fff%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-axis%20.rule%20%7B%20position%3A%20absolute%3B%20left%3A%203%25%3B%20right%3A%203%25%3B%20top%3A%2054px%3B%20height%3A%202px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20%23e2e2e2%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-axis%20.dot%20%7B%20position%3A%20absolute%3B%20top%3A%2046px%3B%20width%3A%2018px%3B%20height%3A%2018px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin-left%3A%20-9px%3B%20border-radius%3A%2050%25%3B%20background%3A%20%23fff%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%202px%20solid%20%23c2c2c2%3B%20box-sizing%3A%20border-box%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-axis%20.dot.on%20%7B%20background%3A%20%23f1b82d%3B%20border-color%3A%20%239a7510%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%200%200%204px%20rgba(241%2C%20184%2C%2045%2C%20.22)%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-axis%20.tag%20%7B%20position%3A%20absolute%3B%20top%3A%2020px%3B%20margin-left%3A%20-9px%3B%20width%3A%2040px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3A%20center%3B%20font-size%3A%20.78rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%239a9a9a%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-axis%20.tag.on%20%7B%20color%3A%20%2362490a%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-axis%20.num%20%7B%20position%3A%20absolute%3B%20top%3A%2070px%3B%20margin-left%3A%20-20px%3B%20width%3A%2040px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3A%20center%3B%20font-size%3A%20.7rem%3B%20color%3A%20%239a9a9a%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-axis%20.ord%20%7B%20position%3A%20absolute%3B%20top%3A%202px%3B%20margin-left%3A%20-9px%3B%20width%3A%2040px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-align%3A%20center%3B%20font-size%3A%20.66rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%236a5314%3B%20letter-spacing%3A%20.04em%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w7-steps%20%7B%20display%3A%20flex%3B%20flex-direction%3A%20column%3B%20gap%3A%207px%3B%20margin%3A%2016px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-step%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%2034px%201fr%20120px%3B%20gap%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20center%3B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-radius%3A%2010px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20%23fff%3B%20padding%3A%2010px%2014px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20640px)%20%7B%20.w7-step%20%7B%20grid-template-columns%3A%2028px%201fr%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-step%20.n%20%7B%20display%3A%20flex%3B%20align-items%3A%20center%3B%20justify-content%3A%20center%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A%2026px%3B%20height%3A%2026px%3B%20border-radius%3A%2050%25%3B%20background%3A%20%23fff3cc%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%23f2dfaa%3B%20color%3A%20%2362490a%3B%20font-size%3A%20.8rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-step%20.d%20%7B%20color%3A%20%232f2f2f%3B%20font-size%3A%20.91rem%3B%20line-height%3A%201.5%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-step%20.r%20%7B%20text-align%3A%20right%3B%20font-size%3A%20.82rem%3B%20color%3A%20%236f6f6f%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20640px)%20%7B%20.w7-step%20.r%20%7B%20display%3A%20none%3B%20%7D%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w7-stages%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20repeat(3%2C%201fr)%3B%20gap%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3A%2016px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20760px)%20%7B%20.w7-stages%20%7B%20grid-template-columns%3A%201fr%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-stage%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-top%3A%205px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20background%3A%20%23fff%3B%20padding%3A%2013px%2015px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-stage%20h4%20%7B%20margin%3A%200%200%204px%3B%20font-size%3A%20.95rem%3B%20color%3A%20%23111%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-stage%20.when%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.72rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.05em%3B%20text-transform%3A%20uppercase%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20display%3A%20block%3B%20margin-bottom%3A%208px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-stage%20ul%20%7B%20margin%3A%200%3B%20padding-left%3A%2017px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-stage%20li%20%7B%20color%3A%20%233a3a3a%3B%20font-size%3A%20.85rem%3B%20line-height%3A%201.5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin-bottom%3A%205px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-stage%20li%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w7-bars%20%7B%20display%3A%20flex%3B%20flex-direction%3A%20column%3B%20gap%3A%2010px%3B%20margin%3A%2016px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-bar%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20210px%201fr%20120px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20center%3B%20gap%3A%2012px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20640px)%20%7B%20.w7-bar%20%7B%20grid-template-columns%3A%20110px%201fr%2086px%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-bar%20.t%20%7B%20color%3A%20%234a4a4a%3B%20font-size%3A%20.87rem%3B%20line-height%3A%201.3%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-bar%20.track%20%7B%20display%3A%20block%3B%20background%3A%20%23f4f4f4%3B%20border%3A%201px%20solid%20%23ececec%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%206px%3B%20height%3A%2026px%3B%20overflow%3A%20hidden%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-bar%20.fill%20%7B%20display%3A%20block%3B%20height%3A%20100%25%3B%20background%3A%20%23c9c9c9%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-bar.good%20.fill%20%7B%20background%3A%20%237cb47f%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-bar.bad%20.fill%20%7B%20background%3A%20%23d98080%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-bar.gold%20.fill%20%7B%20background%3A%20%23f1b82d%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-bar%20.n%20%7B%20text-align%3A%20right%3B%20font-weight%3A%20800%3B%20font-size%3A%20.9rem%3B%20color%3A%20%23111%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w7-budget%20%7B%20display%3A%20flex%3B%20height%3A%2044px%3B%20border-radius%3A%208px%3B%20overflow%3A%20hidden%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%23e6e6e6%3B%20margin%3A%2014px%200%206px%3B%20background%3A%20%23f6f6f6%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-budget%20span%20%7B%20display%3A%20flex%3B%20align-items%3A%20center%3B%20justify-content%3A%20center%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23fff%3B%20font-size%3A%20.74rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overflow%3A%20hidden%3B%20white-space%3A%20nowrap%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-budget%20.t%20%7B%20background%3A%20%234a6fa5%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-budget%20.s%20%7B%20background%3A%20%23c87f5a%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-budget%20.f%20%7B%20background%3A%20%23dcdcdc%3B%20color%3A%20%236f6f6f%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-key%20%7B%20display%3A%20flex%3B%20flex-wrap%3A%20wrap%3B%20gap%3A%2014px%3B%20margin%3A%200%200%2012px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-key%20span%20%7B%20color%3A%20%234a4a4a%3B%20font-size%3A%20.8rem%3B%20display%3A%20flex%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20center%3B%20gap%3A%206px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-key%20i%20%7B%20width%3A%2011px%3B%20height%3A%2011px%3B%20border-radius%3A%203px%3B%20display%3A%20inline-block%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20table.w7-table%20%7B%20border-collapse%3A%20collapse%3B%20margin%3A%2014px%200%3B%20font-size%3A%20.92rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A%20100%25%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w7-table%20th%2C%20table.w7-table%20td%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%209px%2013px%3B%20text-align%3A%20left%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20vertical-align%3A%20top%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w7-table%20th%20%7B%20background%3A%20%23fffdf5%3B%20color%3A%20%236a5314%3B%20font-size%3A%20.76rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%20.04em%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w7-table%20td.num%20%7B%20text-align%3A%20right%3B%20font-variant-numeric%3A%20tabular-nums%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w7-table%20tr.on%20td%20%7B%20background%3A%20%23fffdf5%3B%20font-weight%3A%20700%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w7-table%20tr.off%20td%20%7B%20color%3A%20%239a9a9a%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w7-table%20code%20%7B%20background%3A%20%23f4f4f4%3B%20padding%3A%201px%205px%3B%20border-radius%3A%204px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A%20.85rem%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w7-table%20.tick%20%7B%20color%3A%20%232e7d32%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w7-table%20.cross%20%7B%20color%3A%20%23c62828%3B%20font-weight%3A%20800%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w7-report%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-top%3A%205px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20background%3A%20%23fff%3B%20padding%3A%204px%2020px%2016px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%208px%2020px%20rgba(17%2C%2017%2C%2017%2C%20.06)%3B%20margin%3A%206px%200%204px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-report%20.row%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20200px%201fr%3B%20gap%3A%2016px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2012px%200%3B%20border-bottom%3A%201px%20solid%20%23f2f2f2%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20baseline%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-report%20.row%3Alast-child%20%7B%20border-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20720px)%20%7B%20.w7-report%20.row%20%7B%20grid-template-columns%3A%201fr%3B%20gap%3A%203px%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-report%20.k%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.74rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.06em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-report%20.v%20%7B%20color%3A%20%231c1c1c%3B%20font-size%3A%20.99rem%3B%20line-height%3A%201.55%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-report%20.tick%20%7B%20color%3A%20%232e7d32%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-report%20.cross%20%7B%20color%3A%20%23c62828%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-report%20.quote%20%7B%20border-left%3A%203px%20solid%20%23f1b82d%3B%20padding-left%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23333%3B%20font-style%3A%20italic%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w7-score%20%7B%20display%3A%20inline-block%3B%20background%3A%20%23fff3cc%3B%20border%3A%201px%20solid%20%23f2dfaa%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%208px%3B%20padding%3A%203px%2011px%3B%20font-weight%3A%20800%3B%20color%3A%20%2362490a%3B%20%7D%0A%20%20%20%20%20%20%20%20%3C%2Fstyle%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20LAB_CSS%0A%20%20%20%20return%20(LAB_CSS%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w7-hero%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22w7-eyebrow%22%3ECSC%2FEE%208001%20%26middot%3B%20Week%207%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ch1%3EMost%20of%20Your%20Data%20Is%20Not%20Teaching%20Anything%3C%2Fh1%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22sub%22%3EYou%20have%20100%2C000%20photos%20from%20doorbell%20cameras.%20You%20can%20only%20afford%0A%20%20%20%20%20%20%20%20%20%20to%20train%20on%2020%2C000%20of%20them.%20And%2060%2C000%20of%20those%20photos%20are%20the%20same%20empty%0A%20%20%20%20%20%20%20%20%20%20driveway%2C%20over%20and%20over.%3Cbr%3E%3Cbr%3E%0A%20%20%20%20%20%20%20%20%20%20So%20you%20have%20to%20delete%2080%2C000%20photos.%20Delete%20the%20right%20ones%20and%20you%20lose%20almost%0A%20%20%20%20%20%20%20%20%20%20nothing.%20Delete%20the%20wrong%20ones%20and%20the%20model%20stops%20working.%20The%20hard%20part%20is%20that%0A%20%20%20%20%20%20%20%20%20%20they%20all%20look%20like%20photos%20either%20way.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w7-chips%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w7-chip%22%3EWhy%20data%20got%20scarce%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w7-chip%22%3EKeeping%20one%20of%20each%20kind%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w7-chip%22%3EKeeping%20the%20hard%20ones%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w7-chip%22%3EWhat%20to%20do%20with%20no%20labels%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w7-chip-plain%20w7-chip%22%3EChecks%20are%20marked%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Ch2%3EBefore%20we%20start%3C%2Fh2%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w7-split%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22body%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EFor%20about%20ten%20years%20the%20plan%20was%20simple%3A%20get%20more%20data%2C%20get%20a%20better%20model.%0A%20%20%20%20%20%20%20%20%20%20%20%20It%20worked.%20Nobody%20had%20to%20think%20much%20about%20%3Cem%3Ewhich%3C%2Fem%3E%20data.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EThat%20plan%20has%20run%20out%2C%20and%20the%20reason%20is%20boring.%20Computers%20got%20cheap%20much%0A%20%20%20%20%20%20%20%20%20%20%20%20faster%20than%20data%20did.%20GPUs%20get%20about%20ten%20times%20cheaper%20every%20three%20years.%20Good%0A%20%20%20%20%20%20%20%20%20%20%20%20training%20data%20does%20not%2C%20because%20somebody%20has%20to%20go%20out%20and%20make%20it%20or%20find%0A%20%20%20%20%20%20%20%20%20%20%20%20it.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3ESo%20now%20the%20shortage%20is%20on%20the%20other%20side.%20A%20company%20can%20buy%20enough%20computing%0A%20%20%20%20%20%20%20%20%20%20%20%20power%20to%20read%20ten%20trillion%20words%2C%20then%20discover%20only%20five%20trillion%20good%20ones%0A%20%20%20%20%20%20%20%20%20%20%20%20exist.%20We%20have%20lots%20of%20compute%20and%20not%20enough%20data.%20The%20question%20changed%20too.%0A%20%20%20%20%20%20%20%20%20%20%20%20It%20used%20to%20be%20%22where%20do%20we%20get%20more%20data%3F%22%20Now%20it%20is%20%22how%20do%20we%20get%20more%20out%20of%0A%20%20%20%20%20%20%20%20%20%20%20%20the%20data%20we%20already%20have%3F%22%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EThat%20sounds%20like%20a%20research%20question.%20Mostly%20it%20is%20a%20budgeting%20one.%20Every%0A%20%20%20%20%20%20%20%20%20%20%20%20example%20you%20train%20on%20costs%20the%20same%20amount%20of%20compute.%20But%20they%20don't%20all%20teach%0A%20%20%20%20%20%20%20%20%20%20%20%20the%20same%20amount.%20Some%20teach%20almost%20nothing%2C%20and%20you%20pay%20full%20price%20for%20them%0A%20%20%20%20%20%20%20%20%20%20%20%20anyway.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EThis%20lab%20is%20about%20spotting%20those.%20It%20is%20also%20about%20the%20bit%20people%20leave%20out%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20working%20out%20which%20examples%20to%20keep%20costs%20compute%20too%2C%20and%20sometimes%20it%20costs%0A%20%20%20%20%20%20%20%20%20%20%20%20more%20than%20it%20saves.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Caside%20class%3D%22w7-aside%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3EBy%20the%20end%20you%20can%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Col%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EExplain%20why%20having%20lots%20of%20compute%20and%20little%20data%20changes%20what%20you%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20work%20on.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EWork%20out%20how%20much%20accuracy%20each%20GPU-hour%20is%20buying%20you.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3ERun%20a%20real%20selection%20algorithm%20by%20hand%2C%20and%20say%20where%20it%20is%20blind.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EGive%20two%20very%20different%20reasons%20a%20model%20might%20get%20an%20example%20wrong.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EWork%20out%20whether%20the%20choosing%20cost%20more%20than%20it%20saved.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EPick%20the%20right%20method%20when%20you%20are%20short%20of%20labels%2C%20or%20short%20of%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20time.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fol%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22meta%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cdt%3ETime%3C%2Fdt%3E%3Cdd%3Eabout%2045%20min%3C%2Fdd%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cdt%3EBefore%20this%3C%2Fdt%3E%3Cdd%3EWeeks%204%20to%206%3C%2Fdd%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cdt%3EMarked%3F%3C%2Fdt%3E%3Cdd%3Echecks%20and%20quiz%2C%20one%20answer%20each%3C%2Fdd%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Faside%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w7-question%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22lbl%22%3EThe%20question%20this%20lab%20answers%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%3E%22I%20can%20only%20afford%20to%20train%20on%20a%20fifth%20of%20my%20data.%20Which%20fifth%20do%20I%20keep%2C%20and%0A%20%20%20%20%20%20%20%20%20%20did%20picking%20it%20cost%20me%20more%20than%20it%20saved%3F%22%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%201%3A%20Why%20this%20is%20suddenly%20a%20problem%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Here%20is%20where%20the%20problem%20comes%20from.%20None%20of%20this%20is%20about%20machine%20learning.%20It%20is%0A%20%20%20%20just%20about%20what%20is%20cheap%20and%20what%20is%20not.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Ctable%20class%3D%22w7-table%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cthead%3E%3Ctr%3E%3Cth%3EResource%3C%2Fth%3E%3Cth%3EGrowth%3C%2Fth%3E%3Cth%3ERate%3C%2Fth%3E%3Cth%3EWhy%3C%2Fth%3E%3C%2Ftr%3E%3C%2Fthead%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctbody%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%3Ctd%3EGPU%20compute%3C%2Ftd%3E%3Ctd%3EGets%20cheap%20fast%3C%2Ftd%3E%3Ctd%3E10%26times%3B%20per%203%20years%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%3EWe%20build%20the%20chips%2C%20and%20we%20keep%20getting%20better%20at%20it%3C%2Ftd%3E%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%3Ctd%3ETraining%20data%3C%2Ftd%3E%3Ctd%3EGrows%20slowly%3C%2Ftd%3E%3Ctd%3E2%26times%3B%20per%205%20years%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%3ESomebody%20has%20to%20make%20it%2C%20then%20somebody%20has%20to%20find%20it%3C%2Ftd%3E%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%3Ctd%3ELabelled%20data%3C%2Ftd%3E%3Ctd%3EGrows%20very%20slowly%3C%2Ftd%3E%3Ctd%3E1.5%26times%3B%20per%205%20years%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%3EA%20human%20has%20to%20look%20at%20each%20one%2C%20and%20people%20don't%20get%20cheaper%3C%2Ftd%3E%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%3Ctd%3EMade-up%20data%3C%2Ftd%3E%3Ctd%3EAs%20much%20as%20you%20like%3C%2Ftd%3E%3Ctd%3E%26mdash%3B%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%3EBut%20a%20model%20can't%20invent%20facts%20it%20doesn't%20already%20know%3C%2Ftd%3E%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Ftbody%3E%0A%20%20%20%20%20%20%20%20%3C%2Ftable%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20You%20have%20probably%20seen%20the%20scaling-law%20graphs%2C%20the%20ones%20where%20accuracy%20keeps%20climbing%0A%20%20%20%20as%20the%20dataset%20grows.%20People%20read%20those%20as%20%22more%20data%20always%20helps%22.%20Look%20at%20the%20axis%0A%20%20%20%20label%20though.%20It%20counts%20**different%2C%20good%20examples**.%20Copies%20don't%20count.%20Junk%20doesn't%0A%20%20%20%20count.%0A%0A%20%20%20%20So%20a%20dataset%20of%20a%20million%20photos%20where%20600%2C000%20are%20the%20same%20driveway%20is%20not%20a%0A%20%20%20%20million-photo%20dataset.%20It%20is%20a%20400%2C000-photo%20dataset%20that%20costs%20a%20million%20photos%20to%0A%20%20%20%20train%20on.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20d1%2C%20d1_render%2C%20d1_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Check%201.**%20Compute%20gets%20ten%20times%20cheaper%20every%20three%20years.%20Good%20data%20only%20%22%0A%20%20%20%20%20%20%20%20%22doubles%20every%20five.%20Given%20that%2C%20what%20should%20you%20work%20on%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Go%20and%20collect%20more%20data%2C%20since%20data%20is%20the%20thing%20we%20are%20short%20of%22%3A%20%22more%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Get%20more%20learning%20out%20of%20the%20data%20you%20already%20have%22%3A%20%22value%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Buy%20more%20compute%2C%20since%20that%20is%20what%20the%20model%20actually%20runs%20on%22%3A%20%22compute%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22value%22%2C%0A%20%20%20%20%20%20%20%20%22Collecting%20more%20data%20is%20the%20obvious%20answer%2C%20and%20it%20is%20the%20right%20answer%20when%20there%20%22%0A%20%20%20%20%20%20%20%20%22is%20more%20data%20to%20collect.%20Often%20there%20is.%20If%20you%20work%20at%20a%20hospital%20and%20you%20have%20%22%0A%20%20%20%20%20%20%20%20%222%2C000%20scans%2C%20go%20and%20get%2010%2C000.%5Cn%5CnBut%20the%20big%20labs%20have%20a%20different%20problem%3A%20they%20%22%0A%20%20%20%20%20%20%20%20%22have%20already%20taken%20it.%20The%20good%20text%2C%20the%20labelled%20medical%20images%2C%20the%20annotated%20%22%0A%20%20%20%20%20%20%20%20%22driving%20footage.%20There%20isn't%20a%20pile%20of%20it%20sitting%20somewhere%20waiting.%20So%20what%20you%20%22%0A%20%20%20%20%20%20%20%20%22are%20short%20of%20isn't%20really%20data%2C%20it's%20*usefulness%20per%20example*.%20And%20that%20you%20can%20%22%0A%20%20%20%20%20%20%20%20%22still%20fix%20with%20engineering.%5Cn%5CnThe%20third%20answer%20is%20the%20trap.%20Compute%20is%20the%20thing%20%22%0A%20%20%20%20%20%20%20%20%22you%20have%20plenty%20of.%20Spending%20more%20of%20it%20on%20photos%20of%20an%20empty%20driveway%20doesn't%20buy%20%22%0A%20%20%20%20%20%20%20%20%22you%20anything.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22d1%22%2C%0A%20%20%20%20)%0A%20%20%20%20d1%0A%20%20%20%20return%20d1%2C%20d1_render%2C%20d1_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(d1%2C%20d1_render)%3A%0A%20%20%20%20d1_render(d1.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Putting%20a%20number%20on%20it%0A%0A%20%20%20%20Say%20you%20train%20the%20same%20model%20five%20times%2C%20on%20bigger%20and%20bigger%20slices%20of%20the%20same%0A%20%20%20%20dataset.%20Here%20is%20what%20you%20get.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20_rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(10_000%2C%2075.0%2C%201.0%2C%20None)%2C%0A%20%20%20%20%20%20%20%20(50_000%2C%2085.0%2C%205.0%2C%202.50)%2C%0A%20%20%20%20%20%20%20%20(100_000%2C%2089.0%2C%2010.0%2C%200.80)%2C%0A%20%20%20%20%20%20%20%20(500_000%2C%2092.0%2C%2050.0%2C%200.075)%2C%0A%20%20%20%20%20%20%20%20(1_000_000%2C%2093.0%2C%20100.0%2C%200.020)%2C%0A%20%20%20%20%5D%0A%20%20%20%20_body%20%3D%20%22%22.join(%0A%20%20%20%20%20%20%20%20f%22%3Ctr%3E%3Ctd%20class%3D'num'%3E%7B_n%3A%2C%7D%3C%2Ftd%3E%3Ctd%20class%3D'num'%3E%7B_acc%3A.0f%7D%25%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20f%22%3Ctd%20class%3D'num'%3E%7B_hrs%3A%2C.0f%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20f%22%3Ctd%20class%3D'num'%3E%7B'%26mdash%3B'%20if%20_icr%20is%20None%20else%20f'%7B_icr%3A.3f%7D'%7D%3C%2Ftd%3E%3C%2Ftr%3E%22%0A%20%20%20%20%20%20%20%20for%20_n%2C%20_acc%2C%20_hrs%2C%20_icr%20in%20_rows%0A%20%20%20%20)%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Ctable%20class%3D%22w7-table%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cthead%3E%3Ctr%3E%3Cth%3ETraining%20examples%3C%2Fth%3E%3Cth%3EValidation%20accuracy%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cth%3EGPU-hours%3C%2Fth%3E%3Cth%3EAccuracy%20points%20per%20GPU-hour%2C%20over%20the%20row%20above%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Ftr%3E%3C%2Fthead%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctbody%3E%7B_body%7D%3C%2Ftbody%3E%0A%20%20%20%20%20%20%20%20%3C%2Ftable%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20That%20last%20column%20is%20the%20one%20to%20look%20at.%20It%20answers%20%22what%20did%20the%20extra%20data%20actually%0A%20%20%20%20buy%20me%3F%22%20It%20has%20a%20name%2C%20the%20**information-compute%20ratio**%2C%20but%20it%20is%20just%20division%3A%0A%0A%20%20%20%20%24%24%5Ctext%7BICR%7D%20%3D%20%5Cfrac%7B%5Ctext%7Baccuracy%20you%20gained%7D%7D%7B%5Ctext%7Bcompute%20you%20spent%7D%7D%24%24%0A%0A%20%20%20%20Read%20down%20the%20column.%20Going%20from%2010%2C000%20photos%20to%2050%2C000%20buys%20you%202.5%20points%20of%0A%20%20%20%20accuracy%20for%20every%20GPU-hour.%20Good%20deal.%20Going%20from%20500%2C000%20to%20a%20million%20buys%20you%200.02%0A%20%20%20%20points%20per%20GPU-hour.%20That%20is%20125%20times%20worse.%0A%0A%20%20%20%20Look%20at%20it%20the%20other%20way%20round.%20That%20last%20500%2C000%20photos%20cost%20you%2050%20GPU-hours%20and%0A%20%20%20%20bought%20you%20**one%20point**%20of%20accuracy.%0A%0A%20%20%20%20People%20call%20this%20the%20**data%20tax**.%20Ten%20times%20the%20data%2C%20nine%20times%20the%20bill%2C%20two%20or%0A%20%20%20%20three%20points%20of%20accuracy.%20And%20most%20datasets%20scraped%20off%20the%20web%20sit%20right%20there%2C%20in%20the%0A%20%20%20%20flat%20part%20at%20the%20end%2C%20where%20you%20pay%20full%20price%20per%20photo%20and%20learn%20almost%20nothing.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20d2%2C%20d2_render%2C%20d2_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Check%202.**%20Someone%20tells%20you%20their%20carefully%20picked%20dataset%20has%20a%20really%20high%20%22%0A%20%20%20%20%20%20%20%20%22ICR.%20How%20accurate%20will%20a%20model%20trained%20on%20it%20be%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Very%20accurate%2C%20because%20high%20ICR%20and%20high%20accuracy%20go%20together%22%3A%20%22high%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22You%20can't%20tell.%20ICR%20says%20how%20fast%20you%20learn%2C%20not%20how%20good%20you%20end%20up%22%3A%20%22slope%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Not%20very%2C%20because%20a%20high%20ICR%20means%20it%20hasn't%20finished%20learning%22%3A%20%22low%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22slope%22%2C%0A%20%20%20%20%20%20%20%20%22ICR%20tells%20you%20how%20*fast*%20you%20are%20learning%20per%20pound%20spent.%20It%20says%20nothing%20about%20%22%0A%20%20%20%20%20%20%20%20%22where%20you%20finish.%20Those%20are%20two%20different%20questions.%5Cn%5CnAn%20example%20of%20each.%20A%20tiny%20%22%0A%20%20%20%20%20%20%20%20%22dataset%20of%20400%20carefully%20chosen%20examples%20on%20a%20hard%20problem%20can%20have%20a%20brilliant%20%22%0A%20%20%20%20%20%20%20%20%22ICR%3A%20every%20single%20example%20teaches%20the%20model%20a%20lot.%20And%20then%20you%20run%20out%20of%20examples%20%22%0A%20%20%20%20%20%20%20%20%22at%2070%25%20accuracy%2C%20because%20400%20examples%20is%20400%20examples.%20Great%20rate%2C%20bad%20%22%0A%20%20%20%20%20%20%20%20%22destination.%5Cn%5CnThe%20flat%20tail%20from%20the%20table%20is%20the%20opposite.%20Terrible%20rate%2C%20but%20it%20%22%0A%20%20%20%20%20%20%20%20%22does%20get%20to%2093%25%20in%20the%20end%2C%20just%20expensively.%5Cn%5CnSo%3A%20ICR%20is%20a%20speed.%20Accuracy%20is%20a%20%22%0A%20%20%20%20%20%20%20%20%22destination.%20Mixing%20them%20up%20is%20how%20somebody%20ends%20up%20defending%20a%20400-example%20%22%0A%20%20%20%20%20%20%20%20%22dataset%20for%20a%20real%20product.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22d2%22%2C%0A%20%20%20%20)%0A%20%20%20%20d2%0A%20%20%20%20return%20d2%2C%20d2_render%2C%20d2_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(d2%2C%20d2_render)%3A%0A%20%20%20%20d2_render(d2.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Three%20places%20you%20can%20step%20in%0A%0A%20%20%20%20Everything%20else%20in%20this%20lab%20is%20one%20of%20three%20moves.%20They%20happen%20at%20different%20times%2C%20and%0A%20%20%20%20you%20do%20them%20in%20this%20order%20rather%20than%20picking%20one.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w7-stages%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w7-stage%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22when%22%3E1%20%26middot%3B%20Before%20training%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3EThrow%20stuff%20out%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cul%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EDelete%20the%20copies%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EDelete%20the%20junk%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EKeep%20a%20well-chosen%20subset%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Ful%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w7-stage%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22when%22%3E2%20%26middot%3B%20While%20training%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3EChange%20the%20order%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cul%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EEasy%20examples%20first%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EAsk%20a%20human%20about%20the%20confusing%20ones%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3ELet%20the%20model%20label%20the%20easy%20ones%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Ful%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w7-stage%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22when%22%3E3%20%26middot%3B%20If%20you%20still%20have%20gaps%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3EMake%20more%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cul%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EFlip%2C%20crop%20and%20recolour%20what%20you%20have%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EGenerate%20new%20examples%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3ELearn%20from%20unlabelled%20data%20first%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Ful%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20order%20matters%2C%20and%20here%20is%20why.%20Suppose%20you%20skip%20step%201%20and%20go%20straight%20to%20step%202.%0A%20%20%20%20Now%20every%20clever%20thing%20you%20do%20in%20step%202%20has%20to%20look%20at%20all%2060%2C000%20copies%20of%20the%0A%20%20%20%20driveway%2C%20score%20them%2C%20rank%20them%2C%20and%20think%20about%20them.%20You%20pay%20for%20the%20copies%20twice%3A%0A%20%20%20%20once%20to%20store%20and%20sort%20them%2C%20and%20again%20when%20you%20train.%0A%0A%20%20%20%20Delete%20them%20first.%20Everything%20after%20that%20is%20cheaper.%0A%0A%20%20%20%20%23%23%23%20How%20this%20differs%20from%20Weeks%204%20and%205%0A%0A%20%20%20%20Weeks%204%20and%205%20were%20also%20about%20data%2C%20so%20it%20is%20worth%20being%20clear%20about%20the%20difference.%0A%20%20%20%20Same%20photos%2C%20different%20question.%0A%0A%20%20%20%20%7C%20%7C%20Weeks%204%20and%205%20%7C%20This%20week%20%7C%0A%20%20%20%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%0A%20%20%20%20%7C%20Asks%20%7C%20Is%20this%20data%20*correct*%3F%20%7C%20Is%20correct%20data%20*worth%20the%20compute*%3F%20%7C%0A%20%20%20%20%7C%20Looks%20for%20%7C%20Broken%20fields%2C%20outliers%2C%20drift%20%7C%20Copies%2C%20boring%20examples%2C%20useful%20examples%20%7C%0A%20%20%20%20%7C%20Measures%20%7C%20How%20much%20is%20wrong%20%7C%20How%20much%20you%20learn%20per%20pound%20%7C%0A%0A%20%20%20%20So%20a%20photo%20can%20be%20perfectly%20sharp%2C%20correctly%20labelled%2C%20nothing%20wrong%20with%20it%20at%20all%2C%0A%20%20%20%20and%20still%20not%20be%20worth%20training%20on.%20That%20is%20a%20new%20idea.%20In%20Week%204%20that%20photo%20was%0A%20%20%20%20simply%20fine.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%202%3A%20The%20doorbell%20camera%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Here%20is%20the%20job%20for%20the%20rest%20of%20the%20lab.%0A%0A%20%20%20%20You%20work%20on%20a%20doorbell%20camera.%20When%20something%20moves%2C%20it%20takes%20a%20photo%2C%20and%20your%20model%0A%20%20%20%20has%20to%20say%20which%20of%20three%20things%20it%20is%20seeing%3A%20a%20**person**%2C%20a%20**package**%2C%20or%0A%20%20%20%20**nothing**.%20Getting%20%22person%22%20right%20is%20the%20one%20that%20matters%2C%20because%20that%20is%20the%20alert%0A%20%20%20%20that%20wakes%20somebody%20up%20at%202am.%0A%0A%20%20%20%20Six%20months%20of%20cameras%20out%20in%20the%20world%20have%20given%20you%20this%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w7-grid%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w7-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EPhotos%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E100%2C000%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Efrom%20about%20400%20customers'%20doorbells%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w7-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3ESomebody%20has%20labelled%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E10%2C000%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Eby%20hand%2C%20last%20year%2C%20until%20the%20money%20ran%20out%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w7-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3ENobody%20has%20looked%20at%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E90%2C000%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Ejust%20photos%3B%20we%20don't%20know%20what%20is%20in%20them%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w7-stat%20red%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3ECompute%20you%20are%20allowed%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E20%20GPU-hrs%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Etraining%20on%20all%20100%2C000%20would%20take%20100%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20One%20more%20thing%2C%20and%20it%20is%20the%20important%20one.%20You%20scroll%20through%20the%20photos%20for%20ten%0A%20%20%20%20minutes%20and%20notice%20that%20about%20**60%2C000%20of%20them%20are%20an%20empty%20driveway%20in%20daylight**.%0A%20%20%20%20Not%20identical%2C%20exactly.%20One%20has%20a%20car%20parked%20in%20it.%20One%20was%20taken%20four%20minutes%20later%20so%0A%20%20%20%20the%20shadow%20has%20moved.%20But%20as%20far%20as%20a%20model%20is%20concerned%2C%20they%20are%20the%20same%20photo%0A%20%20%20%2060%2C000%20times.%0A%0A%20%20%20%20So%3A%20you%20can%20keep%2020%2C000.%20Before%20we%20do%20anything%20clever%2C%20say%20what%20you%20would%20do.%20Which%0A%20%20%20%2080%2C000%20would%20you%20delete%3F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20pick%2C%20saved)%3A%0A%20%20%20%20_saved%20%3D%20saved.get(%22hunch%22)%20or%20%7B%7D%0A%20%20%20%20_choices%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22The%2080%2C000%20the%20model%20already%20gets%20right%22%3A%20%22easy%22%2C%0A%20%20%20%20%20%20%20%20%22The%2080%2C000%20the%20model%20gets%20wrong%22%3A%20%22hard%22%2C%0A%20%20%20%20%20%20%20%20%2280%2C000%20picked%20at%20random%2C%20so%20what's%20left%20still%20looks%20like%20the%20original%22%3A%20%22random%22%2C%0A%20%20%20%20%20%20%20%20%2280%2C000%20picked%20so%20that%20what's%20left%20still%20has%20some%20of%20every%20kind%20of%20photo%22%3A%20%22cover%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20hunch_form%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.md(%22%7Bchoice%7D%22)%0A%20%20%20%20%20%20%20%20.batch(%0A%20%20%20%20%20%20%20%20%20%20%20%20choice%3Dmo.ui.radio(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20options%3D_choices%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3Dpick(_choices%2C%20_saved.get(%22choice%22))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Your%20gut%20feeling%2C%20before%20we%20do%20this%20properly.**%20Not%20marked.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.form(%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_label%3D%22That's%20my%20guess%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20validate%3Dlambda%20v%3A%20None%20if%20v%20and%20v.get(%22choice%22)%20else%20%22Pick%20one.%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20hunch_form%0A%20%20%20%20return%20(hunch_form%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(hunch_form%2C%20mo%2C%20saved)%3A%0A%20%20%20%20_answer%20%3D%20hunch_form.value%20or%20saved.get(%22hunch%22)%0A%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20not%20_answer%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Pick%20one%20and%20press%20**That's%20my%20guess**.%20Being%20wrong%20here%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22genuinely%20the%20point%20%E2%80%94%20the%20rest%20of%20the%20lab%20lands%20better%20if%20you%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22have%20committed%20to%20something%20first.%22)%2C%20kind%3D%22warn%22)%2C%0A%20%20%20%20)%0A%20%20%20%20hunch_choice%20%3D%20_answer%5B%22choice%22%5D%0A%20%20%20%20return%20(hunch_choice%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(hunch_choice%2C%20mo)%3A%0A%20%20%20%20_notes%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22easy%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Most%20people%20say%20this%2C%20and%20most%20of%20the%20time%20they%20are%20right.%20If%20the%20model%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22already%20gets%20a%20photo%20right%2C%20it%20has%20nothing%20left%20to%20learn%20from%20it.%20Deleting%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22those%20is%20the%20biggest%20easy%20win%20there%20is.%5Cn%5CnIt%20does%20break%20eventually.%20If%20you%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22delete%20*all*%20the%20easy%20photos%20and%20keep%20only%20the%20hard%20ones%2C%20the%20model%20loses%20its%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22footing%20%E2%80%94%20it%20never%20sees%20a%20nice%20clear%20example%20of%20a%20person%20any%20more%2C%20only%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22difficult%20ones.%20Accuracy%20drops%20off%20a%20cliff.%20You%20will%20see%20exactly%20where%20that%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22happens%20in%20Part%205.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22hard%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22This%20is%20backwards%20as%20a%20default%2C%20but%20it%20is%20a%20really%20useful%20mistake%2C%20and%20Part%204%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22is%20about%20it.%5Cn%5CnHere%20is%20the%20problem.%20When%20a%20model%20gets%20a%20photo%20wrong%2C%20there%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22are%20two%20possible%20reasons.%20Either%20it%20is%20a%20genuinely%20tricky%20photo%20and%20the%20model%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22needs%20to%20see%20it%2C%20or%20somebody%20labelled%20it%20wrong%20and%20it%20is%20nonsense.%20A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22difficulty%20score%20looks%20exactly%20the%20same%20in%20both%20cases.%5Cn%5CnSo%20deleting%20all%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22hard%20photos%20throws%20away%20the%20tricky%20ones%20you%20needed.%20And%20keeping%20*only*%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22hard%20photos%20collects%20every%20bad%20label%20in%20your%20dataset%20into%20one%20pile%20and%20trains%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22on%20it.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22random%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20boring%20answer%2C%20and%20genuinely%20hard%20to%20beat.%20Keep%20it%20in%20mind%20as%20the%20thing%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22every%20clever%20method%20has%20to%20actually%20beat.%5Cn%5CnIts%20problem%20here%20is%20specific.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Random%20picking%20keeps%20the%20mix%20the%20same.%20So%20if%2060%25%20of%20your%20photos%20are%20empty%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22driveways%2C%2060%25%20of%20your%2020%2C000%20will%20be%20empty%20driveways%20too%2C%20which%20is%2012%2C000%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22photos%20of%20nothing.%20You%20have%20faithfully%20preserved%20the%20thing%20that%20was%20wrong%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22with%20the%20dataset.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22cover%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22This%20is%20the%20best%20of%20the%20four%20for%20this%20dataset%2C%20and%20it%20is%20what%20Part%203%20does.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20trick%20is%20that%20it%20stops%20asking%20%5C%22is%20this%20photo%20good%3F%5C%22%20and%20asks%20%5C%22what%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22kinds%20of%20photo%20do%20I%20have%2C%20and%20have%20I%20kept%20at%20least%20one%20of%20each%3F%5C%22%20One%20empty%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22driveway%20is%20as%20good%20as%2060%2C000%20of%20them%2C%20so%20you%20keep%20one%20and%20move%20on.%5Cn%5CnIt%20has%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22one%20blind%20spot%20that%20will%20bite%20you%2C%20and%20it%20is%20worth%20knowing%20about%20before%20you%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22trust%20it.%20Coming%20up%20shortly.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%7D%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20On%20your%20guess%22)%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(_notes%5Bhunch_choice%5D)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20d3%2C%20d3_render%2C%20d3_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Check%203.**%20You%20pick%2020%2C000%20of%20the%20100%2C000%20photos%20at%20random.%20Remember%2060%2C000%20of%20%22%0A%20%20%20%20%20%20%20%20%22the%20originals%20are%20near-identical%20empty%20driveways.%20What%20have%20you%20ended%20up%20with%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20fair%20sample%20of%20the%20original%2C%20which%20is%20what%20you%20want%22%3A%20%22ok%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22About%2012%2C000%20empty%20driveways%2C%20because%20random%20picking%20keeps%20the%20same%20mix%22%3A%20%22same%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Proportionally%20fewer%20driveways%2C%20because%20near-identical%20photos%20are%20less%20likely%20to%20be%20picked%22%3A%20%22fewer%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22same%22%2C%0A%20%20%20%20%20%20%20%20%2220%25%20of%2060%2C000%20is%2012%2C000.%20So%20more%20than%20half%20your%20precious%20compute%20budget%20still%20goes%20%22%0A%20%20%20%20%20%20%20%20%22on%20photos%20of%20an%20empty%20driveway.%5Cn%5CnThe%20third%20answer%20is%20worth%20talking%20about%2C%20because%20%22%0A%20%20%20%20%20%20%20%20%22it%20is%20a%20very%20natural%20mistake.%20Random%20picking%20has%20**no%20idea**%20that%20two%20photos%20look%20%22%0A%20%20%20%20%20%20%20%20%22alike.%20It%20isn't%20looking%20at%20them.%20It%20rolls%20a%20dice%20for%20each%20photo%20independently.%20So%20a%20%22%0A%20%20%20%20%20%20%20%20%22group%20of%2060%2C000%20similar%20photos%20gets%20picked%20in%20proportion%20to%20its%20size%2C%20exactly%20like%20%22%0A%20%20%20%20%20%20%20%20%22any%20other%20group%20would.%5Cn%5CnAnd%20the%20first%20answer%20is%20true%2C%20which%20is%20the%20annoying%20part.%20%22%0A%20%20%20%20%20%20%20%20%22It%20*is*%20a%20fair%20sample.%20It%20faithfully%20represents%20a%20dataset%20that%20was%20already%2060%25%20%22%0A%20%20%20%20%20%20%20%20%22rubbish.%20Being%20a%20fair%20sample%20of%20a%20bad%20dataset%20is%20not%20a%20win.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22d3%22%2C%0A%20%20%20%20)%0A%20%20%20%20d3%0A%20%20%20%20return%20d3%2C%20d3_render%2C%20d3_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(d3%2C%20d3_render)%3A%0A%20%20%20%20d3_render(d3.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%203%3A%20Keep%20one%20of%20each%20kind%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20If%20the%20problem%20is%20that%20random%20picking%20keeps%20the%20same%20mix%2C%20then%20stop%20picking%20randomly.%0A%20%20%20%20Instead%2C%20go%20looking%20for%20**one%20of%20each%20kind%20of%20photo**.%0A%0A%20%20%20%20Which%20needs%20us%20to%20answer%20a%20question%20first%3A%20how%20does%20a%20computer%20tell%20that%20two%20photos%20are%0A%20%20%20%20%22the%20same%20kind%22%3F%20It%20can't%20look%20at%20them%20the%20way%20you%20did.%0A%0A%20%20%20%20%23%23%23%20Turning%20a%20photo%20into%20a%20number%0A%0A%20%20%20%20Here%20is%20the%20trick%2C%20and%20it%20is%20used%20everywhere.%20Take%20a%20neural%20network%20that%20somebody%20else%0A%20%20%20%20already%20trained%20on%20millions%20of%20photos.%20Feed%20your%20photo%20in%2C%20but%20instead%20of%20reading%20its%0A%20%20%20%20answer%2C%20read%20the%20numbers%20from%20one%20of%20its%20middle%20layers.%20You%20get%20a%20list%20of%20a%20few%20hundred%0A%20%20%20%20numbers%20for%20each%20photo.%0A%0A%20%20%20%20The%20useful%20bit%3A%20**photos%20that%20look%20alike%20produce%20similar%20lists%20of%20numbers.**%20That%20is%0A%20%20%20%20not%20magic%2C%20it%20is%20just%20what%20the%20network%20learned%20in%20order%20to%20do%20its%20original%20job.%20Those%0A%20%20%20%2060%2C000%20driveways%20all%20land%20on%20nearly%20the%20same%20numbers.%20A%20photo%20taken%20at%20night%20lands%0A%20%20%20%20somewhere%20else%20entirely.%0A%0A%20%20%20%20People%20call%20that%20list%20of%20numbers%20an%20*embedding*.%20All%20you%20need%20from%20it%20is%20this%3A%20once%20a%0A%20%20%20%20photo%20is%20a%20list%20of%20numbers%2C%20you%20can%20measure%20how%20far%20apart%20two%20photos%20are.%20And%20%22far%0A%20%20%20%20apart%22%20now%20means%20%22look%20different%22.%0A%0A%20%20%20%20%23%23%23%20The%20algorithm%0A%0A%20%20%20%20Now%20that%20distance%20means%20something%2C%20here%20is%20the%20whole%20method.%20It%20is%20called%20**k-center%0A%20%20%20%20greedy**%2C%20which%20sounds%20worse%20than%20it%20is%3A%0A%0A%20%20%20%201.%20Pick%20any%20photo%20to%20start.%0A%20%20%20%202.%20Find%20the%20photo%20that%20is%20**furthest%20away**%20from%20everything%20you've%20picked%20so%20far.%0A%20%20%20%203.%20Keep%20it.%0A%20%20%20%204.%20Repeat%20until%20you%20have%20as%20many%20as%20you%20can%20afford.%0A%0A%20%20%20%20That%20is%20it.%20Because%20you%20always%20grab%20the%20thing%20that%20is%20least%20like%20what%20you%20already%20have%2C%0A%20%20%20%20you%20can't%20accidentally%20collect%2060%2C000%20driveways.%20The%20second%20one%20you%20pick%20is%20as%20different%0A%20%20%20%20as%20possible%20from%20the%20first.%0A%0A%20%20%20%20The%20number%20to%20watch%20is%20the%20**worst%20distance**%3A%20take%20every%20photo%20in%20the%20dataset%2C%20measure%0A%20%20%20%20how%20far%20it%20is%20from%20the%20nearest%20photo%20you%20kept%2C%20and%20look%20at%20the%20biggest%20one.%20That%20tells%0A%20%20%20%20you%20how%20badly%20you've%20let%20the%20dataset%20down.%20Small%20is%20good.%0A%0A%20%20%20%20Below%20are%20seven%20photos.%20To%20keep%20it%20readable%20each%20one%20is%20a%20single%20number%20instead%20of%20a%0A%20%20%20%20few%20hundred%2C%20so%20you%20can%20see%20the%20whole%20thing%20on%20one%20line.%20Photos%20with%20similar%20numbers%0A%20%20%20%20look%20similar.%20Try%20it%3A%20pick%20a%20starting%20photo%20and%20how%20many%20to%20keep.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20pick%2C%20saved)%3A%0A%20%20%20%20_starts%20%3D%20%7B%22A%22%3A%200%2C%20%22B%22%3A%201%2C%20%22C%22%3A%202%2C%20%22D%22%3A%203%2C%20%22E%22%3A%204%2C%20%22F%22%3A%205%2C%20%22G%22%3A%206%7D%0A%20%20%20%20kc_start%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D_starts%2C%0A%20%20%20%20%20%20%20%20value%3Dpick(_starts%2C%20saved.get(%22kc_start%22))%20or%20%22B%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%20label%3D%22Start%20from%22%2C%20inline%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20kc_keep%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201%2C%207%2C%20value%3Dsaved.get(%22kc_keep%22%2C%203)%2C%20step%3D1%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22How%20many%20to%20keep%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bkc_start%2C%20kc_keep%5D)%0A%20%20%20%20return%20kc_keep%2C%20kc_start%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(kc_keep%2C%20kc_start)%3A%0A%20%20%20%20%23%20The%20lecture's%20seven%20frames.%20One%20dimension%20is%20a%20cartoon%2C%20but%20every%20property%0A%20%20%20%20%23%20that%20matters%20about%20k-center%20greedy%20survives%20the%20simplification.%0A%20%20%20%20FRAMES%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22A%22%2C%200.0%2C%20%22Empty%20driveway%2C%20midday%22)%2C%0A%20%20%20%20%20%20%20%20(%22B%22%2C%200.1%2C%20%22Empty%20driveway%2C%20midday%22)%2C%0A%20%20%20%20%20%20%20%20(%22C%22%2C%200.2%2C%20%22Empty%20driveway%2C%20parked%20car%22)%2C%0A%20%20%20%20%20%20%20%20(%22D%22%2C%204.8%2C%20%22Person%20walking%20past%22)%2C%0A%20%20%20%20%20%20%20%20(%22E%22%2C%205.0%2C%20%22Person%20at%20the%20door%22)%2C%0A%20%20%20%20%20%20%20%20(%22F%22%2C%205.2%2C%20%22Person%20walking%20away%22)%2C%0A%20%20%20%20%20%20%20%20(%22G%22%2C%209.8%2C%20%22Night-time%2C%20shadow%20across%20the%20step%22)%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20def%20coverage(chosen)%3A%0A%20%20%20%20%20%20%20%20%22%22%22The%20largest%20distance%20from%20any%20frame%20to%20its%20nearest%20chosen%20frame.%22%22%22%0A%20%20%20%20%20%20%20%20return%20max(min(abs(FRAMES%5Bi%5D%5B1%5D%20-%20FRAMES%5Bj%5D%5B1%5D)%20for%20j%20in%20chosen)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20i%20in%20range(len(FRAMES)))%0A%0A%20%20%20%20def%20k_center(start%2C%20k)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Greedy%20farthest-point%20selection.%20Returns%20the%20picks%20in%20order%2C%20each%20with%0A%20%20%20%20%20%20%20%20the%20distance%20that%20justified%20it%20and%20the%20coverage%20radius%20afterwards.%22%22%22%0A%20%20%20%20%20%20%20%20chosen%20%3D%20%5Bstart%5D%0A%20%20%20%20%20%20%20%20trace%20%3D%20%5B(start%2C%20None%2C%20coverage(chosen))%5D%0A%20%20%20%20%20%20%20%20while%20len(chosen)%20%3C%20k%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20best%2C%20best_d%20%3D%20None%2C%20-1.0%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20i%20in%20range(len(FRAMES))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20i%20in%20chosen%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20d%20%3D%20min(abs(FRAMES%5Bi%5D%5B1%5D%20-%20FRAMES%5Bj%5D%5B1%5D)%20for%20j%20in%20chosen)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20d%20%3E%20best_d%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20best%2C%20best_d%20%3D%20i%2C%20d%0A%20%20%20%20%20%20%20%20%20%20%20%20chosen.append(best)%0A%20%20%20%20%20%20%20%20%20%20%20%20trace.append((best%2C%20best_d%2C%20coverage(chosen)))%0A%20%20%20%20%20%20%20%20return%20chosen%2C%20trace%0A%0A%20%20%20%20kc_chosen%2C%20kc_trace%20%3D%20k_center(kc_start.value%2C%20kc_keep.value)%0A%20%20%20%20%23%20The%20obvious%20lazy%20alternative%3A%20take%20the%20first%20k%20frames%20as%20they%20came%20off%20the%0A%20%20%20%20%23%20device.%20It%20is%20what%20you%20get%20by%20slicing%20a%20sorted%20file.%0A%20%20%20%20kc_naive%20%3D%20list(range(kc_keep.value))%0A%20%20%20%20kc_naive_cov%20%3D%20coverage(kc_naive)%0A%20%20%20%20kc_scenes%20%3D%20len(%7BFRAMES%5Bi%5D%5B2%5D.split(%22%2C%22)%5B0%5D%20for%20i%20in%20kc_chosen%7D)%0A%20%20%20%20return%20FRAMES%2C%20kc_chosen%2C%20kc_naive%2C%20kc_naive_cov%2C%20kc_scenes%2C%20kc_trace%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(FRAMES%2C%20LAB_CSS%2C%20kc_chosen%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20_span%20%3D%2010.0%0A%20%20%20%20_order%20%3D%20%7Bidx%3A%20n%20for%20n%2C%20idx%20in%20enumerate(kc_chosen%2C%201)%7D%0A%20%20%20%20_dots%20%3D%20%22%22%0A%20%20%20%20for%20_i%2C%20(_name%2C%20_emb%2C%20_scene)%20in%20enumerate(FRAMES)%3A%0A%20%20%20%20%20%20%20%20_left%20%3D%203%20%2B%20(_emb%20%2F%20_span)%20*%2094%0A%20%20%20%20%20%20%20%20_on%20%3D%20%22%20on%22%20if%20_i%20in%20_order%20else%20%22%22%0A%20%20%20%20%20%20%20%20_ord%20%3D%20(f'%3Cspan%20class%3D%22ord%22%20style%3D%22left%3A%7B_left%7D%25%22%3Epick%20%7B_order%5B_i%5D%7D%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_i%20in%20_order%20else%20%22%22)%0A%20%20%20%20%20%20%20%20_dots%20%2B%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%7B_ord%7D'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cspan%20class%3D%22tag%7B_on%7D%22%20style%3D%22left%3A%7B_left%7D%25%22%3E%7B_name%7D%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cspan%20class%3D%22dot%7B_on%7D%22%20style%3D%22left%3A%7B_left%7D%25%22%3E%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cspan%20class%3D%22num%22%20style%3D%22left%3A%7B_left%7D%25%22%3E%7B_emb%3A.1f%7D%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20mo.Html(f'%3Cdiv%20class%3D%22w7-axis%22%3E%3Cspan%20class%3D%22rule%22%3E%3C%2Fspan%3E%7B_dots%7D%3C%2Fdiv%3E')%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(FRAMES%2C%20LAB_CSS%2C%20kc_trace%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20_steps%20%3D%20%22%22%0A%20%20%20%20for%20_n%2C%20(_idx%2C%20_d%2C%20_cov)%20in%20enumerate(kc_trace%2C%201)%3A%0A%20%20%20%20%20%20%20%20_name%2C%20_emb%2C%20_scene%20%3D%20FRAMES%5B_idx%5D%0A%20%20%20%20%20%20%20%20_why%20%3D%20(%22you%20started%20here%22%20if%20_d%20is%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20f%22furthest%20from%20what%20you%20had%2C%20%7B_d%3A.1f%7D%20away%22)%0A%20%20%20%20%20%20%20%20_steps%20%2B%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%20class%3D%22w7-step%22%3E%3Cspan%20class%3D%22n%22%3E%7B_n%7D%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cspan%20class%3D%22d%22%3E%3Cstrong%3E%7B_name%7D%3C%2Fstrong%3E%20%26middot%3B%20%7B_scene%7D%20%26middot%3B%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cspan%20style%3D%22color%3A%236f6f6f%22%3E%7B_why%7D%3C%2Fspan%3E%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cspan%20class%3D%22r%22%3Eworst%20gap%20%7B_cov%3A.1f%7D%3C%2Fspan%3E%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20mo.Html(f'%3Cdiv%20class%3D%22w7-steps%22%3E%7B_steps%7D%3C%2Fdiv%3E')%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(FRAMES%2C%20kc_chosen%2C%20kc_naive%2C%20kc_naive_cov%2C%20kc_scenes%2C%20kc_trace%2C%20mo)%3A%0A%20%20%20%20_names%20%3D%20%22%2C%20%22.join(FRAMES%5Bi%5D%5B0%5D%20for%20i%20in%20kc_chosen)%0A%20%20%20%20_naive_names%20%3D%20%22%2C%20%22.join(FRAMES%5Bi%5D%5B0%5D%20for%20i%20in%20kc_naive)%0A%20%20%20%20_radius%20%3D%20kc_trace%5B-1%5D%5B2%5D%0A%20%20%20%20_better%20%3D%20kc_naive_cov%20-%20_radius%0A%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Keeping%20**%7Blen(kc_chosen)%7D**%20photos%2C%20the%20algorithm%20chose%20**%7B_names%7D**.%20The%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22worst%20gap%20is%20**%7B_radius%3A.1f%7D**%2C%20meaning%20every%20photo%20in%20the%20dataset%20has%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22something%20fairly%20similar%20in%20your%20subset.%20You%20got%20**%7Bkc_scenes%7D**%20of%20the%20three%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22kinds%20of%20scene.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Now%20compare%20that%20to%20just%20taking%20the%20first%20%7Blen(kc_naive)%7D%20photos%20off%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22camera%2C%20which%20is%20what%20you%20get%20if%20you%20grab%20the%20top%20of%20the%20file.%20That%20gives%20you%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7B_naive_names%7D**%2C%20and%20a%20worst%20gap%20of%20**%7Bkc_naive_cov%3A.1f%7D**%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(f%22%20%26mdash%3B%20**%7B_better%3A.1f%7D**%20worse.%5Cn%5CnSame%20number%20of%20photos.%20Same%20training%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22cost.%20But%20that%20model%20has%20never%20seen%20a%20person%20or%20a%20night-time%20photo%20in%20its%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22life.%20It%20will%20confidently%20tell%20you%20every%20photo%20is%20an%20empty%20driveway%2C%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22it%20will%20be%20right%2060%25%20of%20the%20time.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_better%20%3E%200.05%20else%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22.%5Cn%5CnAt%20this%20size%20they're%20about%20the%20same%2C%20which%20is%20its%20own%20lesson%3A%20if%20you%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22can%20afford%20to%20keep%20nearly%20everything%2C%20don't%20bother%20being%20clever.%22)%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Two%20things%20to%20try%20with%20the%20slider.%0A%0A%20%20%20%20**Watch%20how%20fast%20the%20gap%20closes.**%20Go%20from%20keeping%201%20photo%20to%20keeping%203%20and%20the%20worst%0A%20%20%20%20gap%20drops%20from%209.7%20to%200.2.%20Then%20go%20from%205%20to%207%20and%20almost%20nothing%20happens.%20That%20is%20the%0A%20%20%20%20whole%20reason%20coresets%20work.%20The%20first%20few%20photos%20you%20pick%20do%20nearly%20all%20the%20useful%20work%2C%0A%20%20%20%20and%20everything%20after%20that%20is%20the%20flat%20tail%20from%20Part%201%20again.%0A%0A%20%20%20%20**Now%20change%20the%20starting%20photo.**%20Try%20A%2C%20then%20try%20G.%20You%20get%20different%20photos%2C%20but%20you%0A%20%20%20%20still%20end%20up%20with%20one%20driveway%2C%20one%20person%20and%20the%20night%20shot.%20The%20algorithm%20fixes%20its%0A%20%20%20%20own%20bad%20start%2C%20because%20whatever%20you%20began%20with%2C%20step%202%20goes%20and%20grabs%20the%20opposite.%0A%0A%20%20%20%20It%20isn't%20perfect.%20Start%20from%20D%20or%20F%2C%20in%20the%20middle%20of%20the%20%22person%22%20group%2C%20and%20the%20worst%0A%20%20%20%20gap%20settles%20at%200.4%20instead%20of%200.2.%20Still%20fine%2C%20slightly%20worse.%20So%20in%20practice%20people%0A%20%20%20%20run%20it%20from%20a%20few%20different%20starting%20photos%20and%20keep%20whichever%20run%20came%20out%20best.%20It%0A%20%20%20%20costs%20nothing%20to%20do%20that.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20d4%2C%20d4_render%2C%20d4_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Check%204.**%20The%20algorithm%20hands%20you%20three%20photos%2C%20one%20of%20each%20kind.%20Now%3A%20your%20%22%0A%20%20%20%20%20%20%20%20%22model%20absolutely%20has%20to%20spot%20people%20at%20night%2C%20and%20night%20photos%20are%200.4%25%20of%20the%20%22%0A%20%20%20%20%20%20%20%20%22dataset.%20What%20has%20the%20algorithm%20*not*%20promised%20you%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22That%20it%20kept%20the%20photos%20the%20model%20finds%20hardest%22%3A%20%22hard%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22That%20any%20particular%20thing%20survived%2C%20because%20it%20was%20matching%20photos%20by%20how%20they%20look%2C%20not%20by%20what's%20in%20them%22%3A%20%22class%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22That%20training%20on%20the%20subset%20is%20cheaper%20than%20training%20on%20everything%22%3A%20%22cheap%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22That%20the%20right%20network%20was%20used%20to%20turn%20photos%20into%20numbers%22%3A%20%22net%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22class%22%2C%0A%20%20%20%20%20%20%20%20%22The%20algorithm%20never%20saw%20a%20single%20label.%20It%20doesn't%20know%20what%20a%20person%20is.%20It%20was%20%22%0A%20%20%20%20%20%20%20%20%22spreading%20out%20numbers%2C%20and%20nobody%20told%20it%20that%20night-time%20people%20are%20the%20thing%20that%20%22%0A%20%20%20%20%20%20%20%20%22gets%20your%20company%20sued.%5Cn%5CnIt%20can%20go%20wrong%20both%20ways%3A%5Cn%5Cn-%20A%20rare%20thing%20you%20care%20%22%0A%20%20%20%20%20%20%20%20%22about%20might%20happen%20to%20produce%20numbers%20close%20to%20a%20common%20thing.%20The%20algorithm%20thinks%20%22%0A%20%20%20%20%20%20%20%20%22it%20already%20has%20one%20of%20those%2C%20and%20drops%20it.%5Cn-%20A%20big%20pile%20of%20corrupted%20photos%20%22%0A%20%20%20%20%20%20%20%20%22produces%20unusual%20numbers.%20The%20algorithm%20thinks%20it%20has%20found%20an%20exciting%20new%20kind%20of%20%22%0A%20%20%20%20%20%20%20%20%22photo%20and%20keeps%20loads%20of%20them.%5Cn%5CnSo%20treat%20coverage%20as%20a%20sensible%20default%2C%20not%20a%20%22%0A%20%20%20%20%20%20%20%20%22policy.%20The%20fix%20is%20easy%3A%20decide%20up%20front%20that%20you%20want%20at%20least%20500%20night%20photos%2C%20%22%0A%20%20%20%20%20%20%20%20%22set%20those%20aside%2C%20and%20let%20the%20algorithm%20choose%20the%20rest.%5Cn%5CnThe%20fourth%20answer%20is%20a%20%22%0A%20%20%20%20%20%20%20%20%22genuinely%20good%20worry%2C%20and%20it%20is%20true%20that%20the%20choice%20of%20network%20matters%20a%20lot.%20It%20%22%0A%20%20%20%20%20%20%20%20%22just%20isn't%20a%20thing%20the%20algorithm%20claimed%20to%20handle.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22d4%22%2C%0A%20%20%20%20)%0A%20%20%20%20d4%0A%20%20%20%20return%20d4%2C%20d4_render%2C%20d4_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(d4%2C%20d4_render)%3A%0A%20%20%20%20d4_render(d4.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%204%3A%20Keep%20the%20hard%20ones%20instead%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Part%203%20asked%20%22what%20kind%20of%20photo%20is%20this%3F%22%20Here%20is%20the%20other%20approach%3A%20ask%20%22how%20badly%0A%20%20%20%20does%20the%20model%20get%20this%20one%20wrong%3F%22%0A%0A%20%20%20%20The%20recipe%20is%20cheap.%20Train%20a%20quick%2C%20rubbish%20model%20on%20everything%20for%20a%20few%20minutes.%20Don't%0A%20%20%20%20use%20it%20for%20anything%2C%20just%20ask%20it%20to%20guess%20every%20photo.%20For%20each%20photo%2C%20measure%20how%20far%0A%20%20%20%20its%20guess%20was%20from%20the%20right%20answer.%20Then%20keep%20the%20photos%20it%20was%20most%20wrong%20about.%0A%0A%20%20%20%20That%20gap%20between%20the%20guess%20and%20the%20truth%20has%20a%20name%20people%20use%2C%20**EL2N**%2C%20which%20stands%0A%20%20%20%20for%20error%20L2%20norm.%20Ignore%20the%20name.%20It%20means%20%22how%20wrong%20was%20it%22%2C%20and%20the%20only%20thing%0A%20%20%20%20you%20need%20to%20know%20is%20that%20bigger%20means%20more%20wrong.%0A%0A%20%20%20%20The%20logic%3A%20if%20the%20quick%20model%20already%20nails%20a%20photo%2C%20your%20real%20model%20will%20too%2C%20so%0A%20%20%20%20there's%20nothing%20to%20learn%20there.%20If%20the%20quick%20model%20struggles%2C%20that%20is%20where%20the%20learning%0A%20%20%20%20is.%0A%0A%20%20%20%20Here%20are%20our%20seven%20photos%20with%20their%20scores.%20Choose%20how%20many%20of%20the%20hardest%20to%20keep%2C%20and%0A%20%20%20%20watch%20the%20last%20two%20columns.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20saved)%3A%0A%20%20%20%20el2n_keep%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201%2C%207%2C%20value%3Dsaved.get(%22el2n_keep%22%2C%203)%2C%20step%3D1%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22Keep%20the%20hardest%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20el2n_keep%0A%20%20%20%20return%20(el2n_keep%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(el2n_keep)%3A%0A%20%20%20%20%23%20Scores%20from%20the%20lecture.%20The%20%60bad%60%20flag%20is%20the%20thing%20a%20difficulty%20score%20cannot%0A%20%20%20%20%23%20see%3A%20F%20is%20genuinely%20hard%2C%20G%20is%20simply%20mislabelled.%0A%20%20%20%20SCORED%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22A%22%2C%200.1%2C%20%22Clear%20pedestrian%2C%20midday%22%2C%20False)%2C%0A%20%20%20%20%20%20%20%20(%22B%22%2C%200.2%2C%20%22Empty%20driveway%22%2C%20False)%2C%0A%20%20%20%20%20%20%20%20(%22C%22%2C%200.3%2C%20%22Package%20on%20the%20step%22%2C%20False)%2C%0A%20%20%20%20%20%20%20%20(%22D%22%2C%200.8%2C%20%22Pedestrian%20in%20shadow%22%2C%20False)%2C%0A%20%20%20%20%20%20%20%20(%22E%22%2C%200.9%2C%20%22Partially%20occluded%20pedestrian%22%2C%20False)%2C%0A%20%20%20%20%20%20%20%20(%22F%22%2C%201.0%2C%20%22Pedestrian%20at%20night%22%2C%20False)%2C%0A%20%20%20%20%20%20%20%20(%22G%22%2C%201.5%2C%20%22A%20dog%2C%20labelled%20'person'%22%2C%20True)%2C%0A%20%20%20%20%5D%0A%20%20%20%20_ranked%20%3D%20sorted(range(len(SCORED))%2C%20key%3Dlambda%20i%3A%20-SCORED%5Bi%5D%5B1%5D)%0A%20%20%20%20el2n_kept%20%3D%20set(_ranked%5B%3Ael2n_keep.value%5D)%0A%20%20%20%20el2n_bad%20%3D%20sum(1%20for%20i%20in%20el2n_kept%20if%20SCORED%5Bi%5D%5B3%5D)%0A%20%20%20%20el2n_noise%20%3D%20100.0%20*%20el2n_bad%20%2F%20len(el2n_kept)%0A%20%20%20%20full_noise%20%3D%20100.0%20*%20sum(1%20for%20s%20in%20SCORED%20if%20s%5B3%5D)%20%2F%20len(SCORED)%0A%20%20%20%20return%20SCORED%2C%20el2n_bad%2C%20el2n_kept%2C%20el2n_noise%2C%20full_noise%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20SCORED%2C%20el2n_kept%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20_BAD%20%3D%20'%3Cspan%20class%3D%22cross%22%3Emislabelled%3C%2Fspan%3E'%0A%20%20%20%20_body%20%3D%20%22%22.join(%0A%20%20%20%20%20%20%20%20f%22%3Ctr%20class%3D'%7B'on'%20if%20_i%20in%20el2n_kept%20else%20'off'%7D'%3E%22%0A%20%20%20%20%20%20%20%20f%22%3Ctd%3E%7B_n%7D%3C%2Ftd%3E%3Ctd%20class%3D'num'%3E%7B_s%3A.1f%7D%3C%2Ftd%3E%3Ctd%3E%7B_scene%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20f%22%3Ctd%3E%7B_BAD%20if%20_bad%20else%20'label%20is%20correct'%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20f%22%3Ctd%3E%7B'kept'%20if%20_i%20in%20el2n_kept%20else%20'pruned'%7D%3C%2Ftd%3E%3C%2Ftr%3E%22%0A%20%20%20%20%20%20%20%20for%20_i%2C%20(_n%2C%20_s%2C%20_scene%2C%20_bad)%20in%20enumerate(SCORED)%0A%20%20%20%20)%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Ctable%20class%3D%22w7-table%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cthead%3E%3Ctr%3E%3Cth%3EFrame%3C%2Fth%3E%3Cth%3EEL2N%3C%2Fth%3E%3Cth%3EWhat%20it%20is%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cth%3EGround%20truth%3C%2Fth%3E%3Cth%3EYour%20subset%3C%2Fth%3E%3C%2Ftr%3E%3C%2Fthead%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctbody%3E%7B_body%7D%3C%2Ftbody%3E%0A%20%20%20%20%20%20%20%20%3C%2Ftable%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20el2n_bad%2C%20el2n_keep%2C%20el2n_noise%2C%20full_noise%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20_kind%20%3D%20%22red%22%20if%20el2n_noise%20%3E%20full_noise%20%2B%200.1%20else%20%22green%22%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w7-grid%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w7-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EKept%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bel2n_keep.value%7D%20of%207%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Ethe%20highest%20EL2N%20scores%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w7-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EBad%20labels%20in%20it%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bel2n_bad%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Eof%20the%20one%20in%20the%20whole%20dataset%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w7-stat%20%7B_kind%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3ELabel%20noise%20in%20your%20subset%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bel2n_noise%3A.0f%7D%25%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Eagainst%20%7Bfull_noise%3A.0f%7D%25%20in%20the%20full%20dataset%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(el2n_keep%2C%20el2n_noise%2C%20full_noise%2C%20mo)%3A%0A%20%20%20%20_ratio%20%3D%20el2n_noise%20%2F%20full_noise%20if%20full_noise%20else%201.0%0A%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Keeping%20the%20hardest%20**%7Bel2n_keep.value%7D**%2C%20**%7Bel2n_noise%3A.0f%7D%25**%20of%20what%20you%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22train%20on%20has%20a%20wrong%20label.%20In%20the%20original%20dataset%20it%20was%20only%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bfull_noise%3A.0f%7D%25**.%20You%20have%20made%20the%20problem%20**%7B_ratio%3A.1f%7D%20times%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22worse**.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(%22%5Cn%5CnAnd%20this%20isn't%20bad%20luck%20with%20my%20made-up%20example.%20Think%20about%20what%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22wrongly%20labelled%20photo%20looks%20like%20to%20the%20quick%20model.%20It%20is%20a%20photo%20of%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22dog%20with%20the%20word%20'person'%20attached.%20The%20model%20will%20never%20predict%20that%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22correctly%2C%20because%20it%20isn't%20true.%20So%20it%20scores%20as%20*maximally%20hard*%20%26mdash%3B%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22it%20goes%20straight%20to%20the%20top%20of%20your%20ranking.%5Cn%5CnWhich%20means%20sorting%20by%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22difficulty%20is%20also%2C%20accidentally%2C%20sorting%20by%20badness%20of%20label.%20The%20harder%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22you%20prune%2C%20the%20more%20of%20your%20dataset%20is%20junk.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_ratio%20%3E%201.2%20else%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%5Cn%5CnNothing%20bad%20is%20happening%20yet%2C%20because%20you%20have%20kept%20nearly%20everything.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Drag%20the%20slider%20down%20to%201%20or%202%20and%20watch%20what%20the%20ranking%20hands%20you.%22)%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22warn%22%20if%20_ratio%20%3E%201.2%20else%20%22info%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20d5%2C%20d5_render%2C%20d5_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Check%205.**%20One%20photo%20has%20the%20highest%20difficulty%20score%20in%20the%20whole%20dataset.%20%22%0A%20%20%20%20%20%20%20%20%22What%20are%20the%20two%20things%20that%20could%20mean%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Either%20it's%20the%20most%20useful%20photo%20you%20own%2C%20or%20its%20label%20is%20wrong%22%3A%20%22both%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Either%20it's%20the%20most%20useful%20photo%20you%20own%2C%20or%20it's%20a%20duplicate%22%3A%20%22dup%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Either%20its%20label%20is%20wrong%2C%20or%20the%20quick%20model%20wasn't%20trained%20long%20enough%22%3A%20%22proxy%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22both%22%2C%0A%20%20%20%20%20%20%20%20%22And%20the%20score%20can't%20tell%20you%20which.%20That%20is%20the%20whole%20problem.%20Both%20look%20identical%3A%20%22%0A%20%20%20%20%20%20%20%20%22the%20model's%20guess%20was%20miles%20from%20the%20label.%20One%20of%20them%20is%20the%20photo%20your%20model%20%22%0A%20%20%20%20%20%20%20%20%22most%20needs%20to%20see.%20The%20other%20is%20poison.%5Cn%5CnThree%20ways%20to%20tell%20them%20apart%2C%20none%20of%20%22%0A%20%20%20%20%20%20%20%20%22which%20are%20in%20the%20score%3A%5Cn%5Cn-%20**Ask%20two%20models.**%20A%20genuinely%20hard%20photo%20is%20hard%20for%20%22%0A%20%20%20%20%20%20%20%20%22everybody.%20A%20mislabelled%20photo%20gets%20wrong%20in%20odd%2C%20inconsistent%20ways.%5Cn-%20**Watch%20it%20%22%0A%20%20%20%20%20%20%20%20%22over%20time.**%20If%20the%20model%20learns%20a%20photo%2C%20then%20forgets%20it%2C%20then%20learns%20it%20again%2C%20%22%0A%20%20%20%20%20%20%20%20%22that's%20usually%20a%20bad%20label%20rather%20than%20a%20hard%20photo.%5Cn-%20**Just%20look%20at%20them.**%20You%20%22%0A%20%20%20%20%20%20%20%20%22only%20need%20to%20check%20the%20top%20of%20the%20list%2C%20so%20it's%20an%20hour%20of%20someone's%20afternoon%2C%20not%20%22%0A%20%20%20%20%20%20%20%20%22a%20relabelling%20project.%5Cn%5CnThe%20rule%20this%20gives%20you%3A%20**prune%20from%20the%20bottom%2C%20not%20the%20%22%0A%20%20%20%20%20%20%20%20%22top.**%20Deleting%20the%20easiest%20photos%20is%20safe%2C%20because%20the%20worst%20case%20is%20you%20deleted%20%22%0A%20%20%20%20%20%20%20%20%22something%20boring.%20Keeping%20only%20the%20hardest%20photos%20is%20dangerous%2C%20because%20the%20worst%20%22%0A%20%20%20%20%20%20%20%20%22case%20is%20you%20kept%20only%20the%20mistakes.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22d5%22%2C%0A%20%20%20%20)%0A%20%20%20%20d5%0A%20%20%20%20return%20d5%2C%20d5_render%2C%20d5_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(d5%2C%20d5_render)%3A%0A%20%20%20%20d5_render(d5.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20The%20one%20thing%20that%20has%20no%20downside%0A%0A%20%20%20%20Everything%20in%20this%20lab%20is%20a%20trade-off%20except%20this%3A%20**delete%20the%20duplicates.**%20Do%20it%0A%20%20%20%20before%20anything%20else.%0A%0A%20%20%20%20It%20is%20the%20one%20free%20move%20available.%20Deleting%20a%20copy%20cannot%20cost%20you%20any%20accuracy%2C%20because%0A%20%20%20%20whatever%20that%20photo%20had%20to%20teach%20is%20still%20sitting%20there%20in%20the%20original.%20And%20you%20save%0A%20%20%20%20the%20full%20cost%20of%20training%20on%20it.%20Datasets%20scraped%20off%20the%20web%20are%20typically%2030%E2%80%9350%25%0A%20%20%20%20near-duplicates.%20Our%20doorbell%20photos%20are%20worse%20than%20that.%0A%0A%20%20%20%20You%20do%20it%20in%20two%20passes%3A%0A%0A%20%20%20%20-%20**Exact%20copies.**%20Take%20a%20fingerprint%20of%20each%20file%20(an%20MD5%20or%20SHA-256%20hash)%20and%20throw%0A%20%20%20%20%20%20away%20repeats.%20Basically%20free.%20Catches%20the%20photo%20that%20got%20uploaded%20twice%2C%20the%20file%0A%20%20%20%20%20%20copied%20into%20two%20folders%2C%20the%20row%20inserted%20again%20when%20a%20request%20retried.%0A%20%20%20%20-%20**Near%20copies.**%20A%20photo%20where%20one%20pixel%20changed%20has%20a%20completely%20different%0A%20%20%20%20%20%20fingerprint%2C%20so%20the%20first%20pass%20misses%20it.%20Tools%20like%20MinHash%20group%20photos%20that%20are%0A%20%20%20%20%20%20*roughly*%20alike%20into%20buckets%2C%20then%20you%20only%20compare%20within%20a%20bucket.%20More%20work%2C%20still%0A%20%20%20%20%20%20cheap.%0A%0A%20%20%20%20And%20duplicates%20aren't%20only%20a%20waste%20of%20money.%20They%20quietly%20change%20what%20the%20model%20learns.%0A%20%20%20%20A%20photo%20that%20appears%20200%20times%20gets%20200%20times%20the%20vote%20in%20every%20decision%20the%20model%0A%20%20%20%20makes.%20You%20didn't%20choose%20that.%20The%20upload%20pipeline%20chose%20it%20for%20you.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20d6%2C%20d6_render%2C%20d6_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Check%206.**%20You%20carefully%20delete%20duplicates%20from%20your%20training%20photos.%20You%20leave%20%22%0A%20%20%20%20%20%20%20%20%22the%20test%20set%20alone%2C%20because%20everyone%20knows%20you%20don't%20mess%20with%20the%20test%20set.%20What%20%22%0A%20%20%20%20%20%20%20%20%22have%20you%20missed%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Nothing.%20Changing%20the%20test%20set%20would%20invalidate%20your%20results%22%3A%20%22nothing%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Copies%20that%20sit%20in%20both%20sets%2C%20so%20test%20photos%20are%20also%20in%20your%20training%20data%22%3A%20%22across%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20test%20set%20needs%20the%20savings%20too%22%3A%20%22compute%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22across%22%2C%0A%20%20%20%20%20%20%20%20%22The%20duplicates%20don't%20care%20where%20you%20drew%20the%20line.%20If%20photo%204%2C812%20is%20in%20your%20%22%0A%20%20%20%20%20%20%20%20%22training%20set%20and%20a%20near-copy%20of%20it%20is%20in%20your%20test%20set%2C%20then%20you%20are%20testing%20the%20%22%0A%20%20%20%20%20%20%20%20%22model%20on%20something%20it%20already%20memorised.%5Cn%5CnHow%20much%20does%20this%20matter%3F%20About%208%25%20%22%0A%20%20%20%20%20%20%20%20%22overlap%20inflates%20your%20reported%20accuracy%20by%20roughly%205%20points.%20That%20is%20more%20than%20most%20%22%0A%20%20%20%20%20%20%20%20%22research%20papers%20claim%20as%20an%20improvement.%20So%20a%20model%20can%20ship%20at%20%5C%2294%25%20accurate%5C%22%20%22%0A%20%20%20%20%20%20%20%20%22and%20land%20in%20production%20at%2089%25%2C%20and%20nobody%20lied.%5Cn%5CnThe%20first%20answer%20is%20the%20%22%0A%20%20%20%20%20%20%20%20%22interesting%20one%2C%20because%20the%20instinct%20is%20right%20and%20aimed%20at%20the%20wrong%20thing.%20What%20%22%0A%20%20%20%20%20%20%20%20%22ruins%20a%20test%20set%20is%20*picking*%20test%20examples%20based%20on%20how%20the%20model%20does%20on%20them.%20%22%0A%20%20%20%20%20%20%20%20%22Removing%20a%20test%20photo%20because%20it's%20also%20in%20training%20isn't%20cheating%2C%20it's%20fixing%20a%20%22%0A%20%20%20%20%20%20%20%20%22mistake.%5Cn%5CnThe%20rule%3A%20deduplicate%20the%20whole%20lot%20**first**%2C%20then%20split%20into%20train%20and%20%22%0A%20%20%20%20%20%20%20%20%22test.%20Never%20the%20other%20way%20round.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22d6%22%2C%0A%20%20%20%20)%0A%20%20%20%20d6%0A%20%20%20%20return%20d6%2C%20d6_render%2C%20d6_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(d6%2C%20d6_render)%3A%0A%20%20%20%20d6_render(d6.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%205%3A%20Did%20the%20choosing%20cost%20more%20than%20it%20saved%3F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Now%20the%20bit%20the%20papers%20skip.%20**Choosing%20which%20photos%20to%20keep%20is%20not%20free.**%0A%0A%20%20%20%20Look%20back%20at%20what%20those%20two%20methods%20actually%20needed%3A%0A%0A%20%20%20%20-%20**k-center%20greedy**%20needed%20a%20number%20for%20all%20100%2C000%20photos.%20That%20means%20running%20every%0A%20%20%20%20%20%20single%20photo%20through%20a%20neural%20network%20first.%20About%203.4%20GPU-hours.%0A%20%20%20%20-%20**EL2N**%20needed%20a%20quick%20model%20trained%20on%20everything%20before%20it%20could%20score%20anything.%0A%20%20%20%20%20%20That's%20a%20small%20training%20run%20of%20its%20own.%20About%2011%20GPU-hours.%0A%0A%20%20%20%20Those%20hours%20come%20out%20of%20the%20same%20budget%20as%20the%20training%20they're%20supposed%20to%20save.%20So%20the%0A%20%20%20%20real%20question%20is%20never%20%22does%20this%20keep%20my%20accuracy%20up%22.%20It%20is%3A%0A%0A%20%20%20%20%3E%20Did%20I%20save%20more%20hours%20than%20I%20spent%20working%20out%20what%20to%20delete%3F%0A%0A%20%20%20%20Which%20depends%20on%20three%20things%3A%20how%20much%20you%20delete%2C%20which%20method%20you%20use%2C%20and%20how%20many%0A%20%20%20%20times%20you'll%20train%20on%20the%20subset%20afterwards.%20Try%20all%20three.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20pick%2C%20saved)%3A%0A%20%20%20%20keep_pct%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%205%2C%20100%2C%20value%3Dsaved.get(%22keep_pct%22%2C%2020)%2C%20step%3D5%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22How%20much%20of%20the%20100%2C000%20you%20keep%20(%25)%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20_methods%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Pick%20at%20random%20(free)%22%3A%20%22random%22%2C%0A%20%20%20%20%20%20%20%20%22Delete%20the%20duplicates%20(0.6%20hrs)%22%3A%20%22dedup%22%2C%0A%20%20%20%20%20%20%20%20%22One%20of%20each%20kind%2C%20as%20in%20Part%203%20(3.4%20hrs)%22%3A%20%22kcenter%22%2C%0A%20%20%20%20%20%20%20%20%22Keep%20the%20hardest%2C%20as%20in%20Part%204%20(11%20hrs)%22%3A%20%22el2n%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20method%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D_methods%2C%0A%20%20%20%20%20%20%20%20value%3Dpick(_methods%2C%20saved.get(%22method%22))%20or%20%22One%20of%20each%20kind%2C%20as%20in%20Part%203%20(3.4%20hrs)%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%20label%3D%22How%20you%20pick%20them%22%2C%0A%20%20%20%20)%0A%20%20%20%20runs%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201%2C%208%2C%20value%3Dsaved.get(%22runs%22%2C%201)%2C%20step%3D1%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22How%20many%20times%20you'll%20train%20on%20this%20subset%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bkeep_pct%2C%20method%2C%20runs%5D)%0A%20%20%20%20return%20keep_pct%2C%20method%2C%20runs%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(keep_pct%2C%20method%2C%20runs)%3A%0A%20%20%20%20%23%20A%20cost%20model%2C%20not%20a%20measurement.%20The%20shapes%20are%20taken%20from%20the%20pruning%0A%20%20%20%20%23%20literature%3B%20the%20constants%20are%20invented%20so%20the%20arithmetic%20is%20legible.%20What%20it%0A%20%20%20%20%23%20is%20for%20is%20showing%20which%20term%20dominates%20and%20where%20the%20sign%20of%20the%20trade%20flips.%0A%20%20%20%20FULL_HOURS%20%3D%20100.0%20%20%20%20%20%20%23%20training%20once%20on%20all%20100%2C000%20frames%0A%20%20%20%20FULL_ACC%20%3D%2093.0%20%20%20%20%20%20%20%20%20%23%20what%20that%20gets%20you%2C%20from%20the%20table%20in%20Part%201%0A%20%20%20%20DUP_SHARE%20%3D%200.45%20%20%20%20%20%20%20%20%23%20how%20much%20of%20this%20fleet's%20data%20is%20near-duplicate%0A%0A%20%20%20%20SELECT_HOURS%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22random%22%3A%200.0%2C%20%20%20%20%20%20%23%20a%20shuffle%0A%20%20%20%20%20%20%20%20%22dedup%22%3A%200.6%2C%20%20%20%20%20%20%20%23%20hashing%20is%20CPU%20work%3B%20the%20fuzzy%20pass%20dominates%0A%20%20%20%20%20%20%20%20%22kcenter%22%3A%203.4%2C%20%20%20%20%20%23%20one%20forward%20pass%20over%20100k%2C%20plus%20distances%0A%20%20%20%20%20%20%20%20%22el2n%22%3A%2011.0%2C%20%20%20%20%20%20%20%23%20a%20proxy%20model%20actually%20has%20to%20be%20trained%0A%20%20%20%20%7D%0A%20%20%20%20SELECT_NAME%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22random%22%3A%20%22Picking%20at%20random%22%2C%0A%20%20%20%20%20%20%20%20%22dedup%22%3A%20%22Deleting%20duplicates%22%2C%0A%20%20%20%20%20%20%20%20%22kcenter%22%3A%20%22One%20of%20each%20kind%22%2C%0A%20%20%20%20%20%20%20%20%22el2n%22%3A%20%22Keeping%20the%20hardest%22%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20def%20retained(name%2C%20f)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Share%20of%20the%20full-data%20accuracy%20a%20subset%20of%20fraction%20f%20gets%20you.%22%22%22%0A%20%20%20%20%20%20%20%20if%20name%20%3D%3D%20%22random%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%201.0%20-%200.12%20*%20(1.0%20-%20f)%20**%202.0%0A%20%20%20%20%20%20%20%20if%20name%20%3D%3D%20%22dedup%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Removing%20duplicates%20costs%20nothing%20until%20the%20duplicates%20run%20out%3B%20past%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20that%20you%20are%20deleting%20unique%20frames%2C%20and%20it%20degrades%20like%20random.%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20f%20%3E%3D%201.0%20-%20DUP_SHARE%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%201.0%0A%20%20%20%20%20%20%20%20%20%20%20%20short%20%3D%20(1.0%20-%20DUP_SHARE%20-%20f)%20%2F%20(1.0%20-%20DUP_SHARE)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%201.0%20-%200.12%20*%20short%20**%202.0%0A%20%20%20%20%20%20%20%20if%20name%20%3D%3D%20%22kcenter%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%201.0%20-%200.06%20*%20(1.0%20-%20f)%20**%201.6%0A%20%20%20%20%20%20%20%20%23%20EL2N%20is%20the%20best%20of%20them%20in%20the%20middle%20and%20the%20worst%20at%20the%20extreme%3A%20keep%0A%20%20%20%20%20%20%20%20%23%20only%20the%20hardest%20few%20per%20cent%20and%20you%20have%20kept%20the%20label%20noise%20and%20thrown%0A%20%20%20%20%20%20%20%20%23%20away%20the%20easy%20examples%20that%20anchor%20the%20rest%20of%20the%20boundary.%0A%20%20%20%20%20%20%20%20collapse%20%3D%20max(0.0%2C%200.15%20-%20f)%20*%201.2%0A%20%20%20%20%20%20%20%20return%201.0%20-%200.05%20*%20(1.0%20-%20f)%20**%201.4%20-%20collapse%0A%0A%20%20%20%20sel_name%20%3D%20method.value%0A%20%20%20%20keep_f%20%3D%20keep_pct.value%20%2F%20100.0%0A%20%20%20%20train_hours%20%3D%20FULL_HOURS%20*%20keep_f%20*%20runs.value%0A%20%20%20%20select_hours%20%3D%20SELECT_HOURS%5Bsel_name%5D%0A%20%20%20%20total_hours%20%3D%20train_hours%20%2B%20select_hours%0A%20%20%20%20full_hours%20%3D%20FULL_HOURS%20*%20runs.value%0A%20%20%20%20saved_hours%20%3D%20full_hours%20-%20total_hours%0A%0A%20%20%20%20acc%20%3D%20FULL_ACC%20*%20retained(sel_name%2C%20keep_f)%0A%20%20%20%20points_lost%20%3D%20FULL_ACC%20-%20acc%0A%20%20%20%20%23%20The%20trade%2C%20stated%20as%20the%20thing%20an%20engineer%20has%20to%20sign%20off%20on.%0A%20%20%20%20hours_per_point%20%3D%20(saved_hours%20%2F%20points_lost)%20if%20points_lost%20%3E%200.005%20else%20None%0A%20%20%20%20pays%20%3D%20saved_hours%20%3E%200%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20FULL_ACC%2C%0A%20%20%20%20%20%20%20%20FULL_HOURS%2C%0A%20%20%20%20%20%20%20%20SELECT_NAME%2C%0A%20%20%20%20%20%20%20%20acc%2C%0A%20%20%20%20%20%20%20%20full_hours%2C%0A%20%20%20%20%20%20%20%20hours_per_point%2C%0A%20%20%20%20%20%20%20%20keep_f%2C%0A%20%20%20%20%20%20%20%20pays%2C%0A%20%20%20%20%20%20%20%20points_lost%2C%0A%20%20%20%20%20%20%20%20saved_hours%2C%0A%20%20%20%20%20%20%20%20sel_name%2C%0A%20%20%20%20%20%20%20%20select_hours%2C%0A%20%20%20%20%20%20%20%20total_hours%2C%0A%20%20%20%20%20%20%20%20train_hours%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20acc%2C%20mo%2C%20points_lost%2C%20saved_hours%2C%20total_hours)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w7-grid%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w7-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EHours%20you%20spend%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Btotal_hours%3A%2C.1f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Ethe%20training%20plus%20the%20choosing%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w7-stat%20%7B'green'%20if%20saved_hours%20%3E%200%20else%20'red'%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EHours%20you%20save%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bsaved_hours%3A%2B%2C.1f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Ecompared%20with%20just%20training%20on%20all%20of%20it%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w7-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EAccuracy%20you%20get%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bacc%3A%2C.1f%7D%25%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3E%7Bpoints_lost%3A.2f%7D%20points%20worse%20than%20using%20everything%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20full_hours%2C%20mo%2C%20select_hours%2C%20total_hours%2C%20train_hours)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20_span%20%3D%20max(full_hours%2C%20total_hours)%0A%20%20%20%20_t%20%3D%20100.0%20*%20train_hours%20%2F%20_span%0A%20%20%20%20_s%20%3D%20100.0%20*%20select_hours%20%2F%20_span%0A%20%20%20%20_f%20%3D%20max(0.0%2C%20100.0%20-%20_t%20-%20_s)%0A%0A%20%20%20%20def%20_seg(cls%2C%20width%2C%20text)%3A%0A%20%20%20%20%20%20%20%20if%20width%20%3C%200.5%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22%22%0A%20%20%20%20%20%20%20%20return%20(f'%3Cspan%20class%3D%22%7Bcls%7D%22%20style%3D%22width%3A%7Bwidth%7D%25%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%7Btext%20if%20width%20%3E%2011%20else%20%22%22%7D%3C%2Fspan%3E')%0A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w7-budget%22%3E%0A%20%20%20%20%20%20%20%20%20%20%7B_seg(%22t%22%2C%20_t%2C%20f%22training%20%7Btrain_hours%3A%2C.1f%7D%20h%22)%7D%0A%20%20%20%20%20%20%20%20%20%20%7B_seg(%22s%22%2C%20_s%2C%20f%22choosing%20%7Bselect_hours%3A%2C.1f%7D%20h%22)%7D%0A%20%20%20%20%20%20%20%20%20%20%7B_seg(%22f%22%2C%20_f%2C%20%22hours%20you%20kept%22)%7D%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w7-key%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%3E%3Ci%20style%3D%22background%3A%234a6fa5%22%3E%3C%2Fi%3E%20training%20on%20what%20you%20kept%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%3E%3Ci%20style%3D%22background%3A%23c87f5a%22%3E%3C%2Fi%3E%20working%20out%20what%20to%20keep%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%3E%3Ci%20style%3D%22background%3A%23dcdcdc%22%3E%3C%2Fi%3E%20saved%2C%20out%20of%20%7Bfull_hours%3A%2C.0f%7D%20hours%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(FULL_ACC%2C%20FULL_HOURS%2C%20LAB_CSS%2C%20keep_f%2C%20mo%2C%20runs)%3A%0A%20%20%20%20%23%20The%20same%20arithmetic%20for%20all%20four%20methods%20at%20the%20current%20keep%20rate%2C%20so%20the%0A%20%20%20%20%23%20comparison%20does%20not%20depend%20on%20remembering%20what%20the%20last%20setting%20showed.%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20_sel%20%3D%20%7B%22random%22%3A%200.0%2C%20%22dedup%22%3A%200.6%2C%20%22kcenter%22%3A%203.4%2C%20%22el2n%22%3A%2011.0%7D%0A%20%20%20%20_label%20%3D%20%7B%22random%22%3A%20%22Pick%20at%20random%22%2C%20%22dedup%22%3A%20%22Delete%20duplicates%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22kcenter%22%3A%20%22One%20of%20each%20kind%22%2C%20%22el2n%22%3A%20%22Keep%20the%20hardest%22%7D%0A%0A%20%20%20%20def%20_ret(name%2C%20f)%3A%0A%20%20%20%20%20%20%20%20if%20name%20%3D%3D%20%22random%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%201.0%20-%200.12%20*%20(1.0%20-%20f)%20**%202.0%0A%20%20%20%20%20%20%20%20if%20name%20%3D%3D%20%22dedup%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20f%20%3E%3D%200.55%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%201.0%0A%20%20%20%20%20%20%20%20%20%20%20%20return%201.0%20-%200.12%20*%20((0.55%20-%20f)%20%2F%200.55)%20**%202.0%0A%20%20%20%20%20%20%20%20if%20name%20%3D%3D%20%22kcenter%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%201.0%20-%200.06%20*%20(1.0%20-%20f)%20**%201.6%0A%20%20%20%20%20%20%20%20return%201.0%20-%200.05%20*%20(1.0%20-%20f)%20**%201.4%20-%20max(0.0%2C%200.15%20-%20f)%20*%201.2%0A%0A%20%20%20%20_rows%20%3D%20%22%22%0A%20%20%20%20for%20_m%20in%20(%22random%22%2C%20%22dedup%22%2C%20%22kcenter%22%2C%20%22el2n%22)%3A%0A%20%20%20%20%20%20%20%20_tot%20%3D%20FULL_HOURS%20*%20keep_f%20*%20runs.value%20%2B%20_sel%5B_m%5D%0A%20%20%20%20%20%20%20%20_save%20%3D%20FULL_HOURS%20*%20runs.value%20-%20_tot%0A%20%20%20%20%20%20%20%20_a%20%3D%20FULL_ACC%20*%20_ret(_m%2C%20keep_f)%0A%20%20%20%20%20%20%20%20_lost%20%3D%20FULL_ACC%20-%20_a%0A%20%20%20%20%20%20%20%20_verdict%20%3D%20('%3Cspan%20class%3D%22tick%22%3Eworth%20it%3C%2Fspan%3E'%20if%20_save%20%3E%200%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20'%3Cspan%20class%3D%22cross%22%3Ecost%20more%20than%20it%20saved%3C%2Fspan%3E')%0A%20%20%20%20%20%20%20%20_rows%20%2B%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctr%3E%3Ctd%3E%7B_label%5B_m%5D%7D%3C%2Ftd%3E%3Ctd%20class%3D'num'%3E%7B_sel%5B_m%5D%3A.1f%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctd%20class%3D'num'%3E%7B_tot%3A%2C.1f%7D%3C%2Ftd%3E%3Ctd%20class%3D'num'%3E%7B_save%3A%2B%2C.1f%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctd%20class%3D'num'%3E%7B_a%3A.1f%7D%25%3C%2Ftd%3E%3Ctd%20class%3D'num'%3E%7B_lost%3A.2f%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctd%3E%7B_verdict%7D%3C%2Ftd%3E%3C%2Ftr%3E%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Ctable%20class%3D%22w7-table%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cthead%3E%3Ctr%3E%3Cth%3EMethod%3C%2Fth%3E%3Cth%3EHours%20choosing%3C%2Fth%3E%3Cth%3EHours%20total%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cth%3EHours%20saved%3C%2Fth%3E%3Cth%3EAccuracy%3C%2Fth%3E%3Cth%3EPoints%20given%20up%3C%2Fth%3E%3Cth%3E%3C%2Fth%3E%3C%2Ftr%3E%3C%2Fthead%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctbody%3E%7B_rows%7D%3C%2Ftbody%3E%0A%20%20%20%20%20%20%20%20%3C%2Ftable%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20SELECT_NAME%2C%0A%20%20%20%20hours_per_point%2C%0A%20%20%20%20keep_pct%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20pays%2C%0A%20%20%20%20points_lost%2C%0A%20%20%20%20runs%2C%0A%20%20%20%20saved_hours%2C%0A%20%20%20%20sel_name%2C%0A%20%20%20%20select_hours%2C%0A)%3A%0A%20%20%20%20_trade%20%3D%20(%22and%20it%20costs%20you%20no%20accuracy%20worth%20measuring.%20Free%20money.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20hours_per_point%20is%20None%20else%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22and%20every%20accuracy%20point%20you%20gave%20up%20bought%20you%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bhours_per_point%3A%2C.0f%7D%20GPU-hours**.%20Whether%20that%20is%20a%20good%20deal%20is%20your%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22call%2C%20not%20the%20algorithm's.%22)%0A%20%20%20%20_amort%20%3D%20(%22%22%20if%20runs.value%20%3D%3D%201%20else%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%5Cn%5CnAlso%20notice%20what%20happened%20when%20you%20set%20it%20to%20**%7Bruns.value%7D**%20training%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22runs.%20The%20%7Bselect_hours%3A%2C.1f%7D%20hours%20of%20choosing%20get%20paid%20**once**%2C%20but%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22saving%20happens%20every%20single%20run.%20This%20is%20why%20a%20team%20doing%20a%20big%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22hyperparameter%20sweep%20can%20afford%20a%20much%20fussier%20selection%20method%20than%20a%20team%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22training%20once%20and%20shipping.%22)%0A%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7BSELECT_NAME%5Bsel_name%5D%7D**%2C%20keeping%20**%7Bkeep_pct.value%7D%25**%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(f%22you%20save%20**%7Bsaved_hours%3A%2C.1f%7D**%20GPU-hours%2C%20%7B_trade%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20pays%20else%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22this%20**costs%20you%20%7B-saved_hours%3A%2C.1f%7D%20hours%20more%20than%20just%20training%20on%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22everything**%2C%20and%20you%20still%20end%20up%20%7Bpoints_lost%3A.2f%7D%20points%20less%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22accurate.%20Worst%20of%20both.%5Cn%5CnThe%20reason%20is%20that%20the%20choosing%20costs%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bselect_hours%3A%2C.1f%7D%20hours%20no%20matter%20how%20much%20you%20keep.%20Keep%20almost%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22everything%20and%20there's%20barely%20any%20training%20left%20to%20save.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20_amort%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22success%22%20if%20pays%20else%20%22danger%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Two%20things%20in%20that%20table%20surprise%20people.%20Set%20the%20slider%20to%2020%25%2C%20then%20to%205%25%2C%20and%20watch.%0A%0A%20%20%20%20**%22Keep%20the%20hardest%22%20is%20the%20best%20method%20at%2020%25%20and%20the%20worst%20at%205%25**%20%E2%80%94%20worse%20even%20than%0A%20%20%20%20picking%20at%20random.%20That%20flip%20is%20real%2C%20not%20an%20artefact%20of%20my%20made-up%20numbers.%0A%0A%20%20%20%20Here%20is%20why.%20Keeping%20the%20hardest%20photos%20works%20by%20throwing%20away%20the%20easy%20middle%20of%20each%0A%20%20%20%20group%20and%20keeping%20the%20tricky%20edges%2C%20and%20that%20is%20a%20good%20trade%20right%20up%20until%20the%20middle%0A%20%20%20%20is%20gone.%20Then%20the%20model%20has%20nothing%20but%20edge%20cases.%20It%20has%20never%20seen%20an%20obvious%2C%0A%20%20%20%20unmistakable%20photo%20of%20a%20person.%20On%20top%20of%20that%2C%20the%20label%20noise%20from%20Part%204%20is%20now%20a%20big%0A%20%20%20%20chunk%20of%20what's%20left.%20So%3A%20**the%20more%20aggressively%20you%20prune%2C%20the%20more%20you%20should%20lean%20on%0A%20%20%20%20%22one%20of%20each%20kind%22%20and%20the%20more%20you%20should%20deliberately%20keep%20some%20easy%20photos.**%0A%0A%20%20%20%20**%22Delete%20duplicates%22%20is%20free%20until%20it%20isn't.**%20Keep%20anything%20above%2055%25%20and%20you%20lose%0A%20%20%20%20zero%20accuracy.%20Below%2055%25%20it%20starts%20falling%20off.%20The%20reason%20is%20simple%3A%2045%25%20of%20this%0A%20%20%20%20dataset%20was%20duplicates%2C%20so%20at%2055%25%20you%20have%20deleted%20the%20last%20one.%20Keep%20deleting%20and%20you%0A%20%20%20%20are%20now%20throwing%20away%20real%20photos%20at%20random%2C%20which%20is%20exactly%20what%20the%20random%20row%20does.%0A%0A%20%20%20%20Every%20method%20has%20a%20point%20like%20that%2C%20where%20the%20thing%20it%20was%20exploiting%20runs%20out.%20Finding%0A%20%20%20%20yours%20tells%20you%20when%20to%20stop%20and%20move%20to%20the%20next%20stage.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Be%20honest%3A%20where%20do%20these%20numbers%20come%20from%3F%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20*shapes*%20of%20these%20curves%20come%20from%20real%20published%20results%20on%20pruning.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20exact%20constants%20I%20made%20up%2C%20so%20the%20arithmetic%20stays%20readable.%20Same%20deal%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20as%20the%20memory%20budget%20in%20Week%206%3A%20good%20enough%20to%20show%20you%20which%20thing%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dominates%20and%20where%20a%20trade%20flips%20sign%2C%20not%20good%20enough%20to%20plan%20next%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20quarter%20with.%20Here's%20what%20it%20ignores.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20-%20**Your%20time.**%20A%20duplicate-deletion%20pipeline%20is%20half%20a%20day%20of%20somebody's%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20attention%20before%20it%20is%200.6%20GPU-hours.%20The%20salary%20usually%20costs%20more%20than%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20the%20compute.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20-%20**Stuff%20you%20already%20have.**%20If%20another%20team%20already%20ran%20all%20your%20photos%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20through%20a%20network%20last%20month%2C%20the%203.4%20hours%20mostly%20vanish.%20Go%20and%20ask%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20before%20you%20spend%20it.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20-%20**Luck.**%20These%20are%20single%20numbers%20for%20things%20that%20actually%20vary%20a%20lot.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Picking%2010%25%20at%20random%20sometimes%20goes%20much%20worse%20than%20the%20average%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20suggests.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20-%20**Combining%20methods.**%20Delete%20the%20duplicates%20*and%20then*%20pick%20one%20of%20each%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%20from%20what's%20left.%20That%20beats%20either%20on%20its%20own%20and%20costs%20about%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sum%20of%20the%20two.%20Nothing%20here%20lets%20you%20try%20that.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20-%20**Storage.**%20Sometimes%20GPU-hours%20aren't%20the%20problem%20at%20all%2C%20and%20what's%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20actually%20hurting%20is%20the%20bill%20for%20keeping%20100%2C000%20photos%20somewhere.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20d7%2C%20d7_render%2C%20d7_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Check%207.**%20%5C%22Keep%20the%20hardest%5C%22%20costs%2011%20GPU-hours%20to%20work%20out%2C%20and%20it%20costs%20%22%0A%20%20%20%20%20%20%20%20%22that%20whether%20you%20end%20up%20keeping%205%25%20or%2095%25.%20When%20does%20it%20stop%20being%20worth%20it%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Never.%20Choosing%20is%20always%20cheaper%20than%20the%20training%20it%20replaces%22%3A%20%22never%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22When%20you%20keep%20so%20much%20that%20the%20training%20you%20saved%20is%20worth%20less%20than%2011%20hours%22%3A%20%22high%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22When%20the%20dataset%20is%20too%20small%20to%20have%20duplicates%20in%20it%22%3A%20%22small%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22high%22%2C%0A%20%20%20%20%20%20%20%20%22Set%20the%20slider%20to%2095%25%20and%20look.%20You%20saved%205%20hours%20of%20training%20and%20spent%2011%20working%20%22%0A%20%20%20%20%20%20%20%20%22out%20what%20to%20delete.%20You%20are%206%20hours%20down%2C%20and%20slightly%20*less*%20accurate%20than%20if%20%22%0A%20%20%20%20%20%20%20%20%22you'd%20done%20nothing%20at%20all.%5Cn%5CnThe%20thing%20to%20take%20away%20is%20the%20shape%20of%20it.%20**The%20cost%20%22%0A%20%20%20%20%20%20%20%20%22of%20choosing%20is%20fixed.%20The%20saving%20depends%20on%20how%20much%20you%20delete.**%20So%3A%5Cn%5Cn-%20%22%0A%20%20%20%20%20%20%20%20%22Expensive%20methods%20only%20make%20sense%20if%20you're%20deleting%20a%20lot.%5Cn-%20Or%20if%20you'll%20reuse%20%22%0A%20%20%20%20%20%20%20%20%22the%20subset.%20Train%20on%20it%20eight%20times%20and%20the%2011%20hours%20is%20paid%20once.%5Cn-%20And%20it's%20why%20%22%0A%20%20%20%20%20%20%20%20%22deleting%20duplicates%20always%20goes%20first.%20At%200.6%20hours%20it%20pays%20for%20itself%20almost%20%22%0A%20%20%20%20%20%20%20%20%22immediately%2C%20and%20it%20shrinks%20the%20pile%20that%20every%20later%20method%20has%20to%20chew%20through.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22d7%22%2C%0A%20%20%20%20)%0A%20%20%20%20d7%0A%20%20%20%20return%20d7%2C%20d7_render%2C%20d7_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(d7%2C%20d7_render)%3A%0A%20%20%20%20d7_render(d7.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%206%3A%20Changing%20your%20mind%20as%20you%20go%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Everything%20so%20far%20happened%20once%2C%20up%20front%2C%20before%20training%20started.%20But%20here%20is%20the%0A%20%20%20%20thing%3A%20**whether%20a%20photo%20is%20useful%20depends%20on%20what%20the%20model%20currently%20knows.**%0A%0A%20%20%20%20A%20photo%20the%20model%20can't%20handle%20yet%20is%20worth%20showing%20it.%20The%20moment%20it%20learns%20that%20photo%2C%0A%20%20%20%20the%20same%20photo%20is%20worth%20nothing.%20It%20has%20changed%20from%20useful%20to%20useless%20without%20changing%0A%20%20%20%20at%20all.%0A%0A%20%20%20%20So%20instead%20of%20picking%20a%20subset%20once%2C%20you%20keep%20changing%20it%20as%20training%20goes%20on.%20There%0A%20%20%20%20are%20three%20ways%20to%20do%20this%2C%20and%20the%20easiest%20way%20to%20keep%20them%20straight%20is%20to%20ask%20what%0A%20%20%20%20you're%20short%20of.%0A%0A%20%20%20%20%23%23%23%20Short%20of%20time%3A%20show%20the%20easy%20ones%20first%0A%0A%20%20%20%20This%20is%20**curriculum%20learning**%2C%20and%20it%20is%20named%20after%20exactly%20what%20you%20think.%20You%20don't%0A%20%20%20%20teach%20a%20child%20long%20division%20on%20day%20one.%0A%0A%20%20%20%20Score%20every%20photo%20by%20how%20hard%20it%20is%2C%20then%20start%20the%20model%20on%20the%20easy%20ones%20and%20bring%20in%0A%20%20%20%20harder%20ones%20as%20it%20improves.%20Measuring%20difficulty%20is%20easy%3A%20just%20look%20at%20how%20confident%0A%20%20%20%20the%20model%20is%20about%20the%20right%20answer.%0A%0A%20%20%20%20%7C%20Photo%20%7C%20How%20sure%20the%20model%20is%20%7C%20Difficulty%20%7C%0A%20%20%20%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%0A%20%20%20%20%7C%20Clear%20pedestrian%2C%20daylight%20%7C%2095%25%20%7C%200.05%20%7C%0A%20%20%20%20%7C%20Pedestrian%20in%20shadow%20%7C%2070%25%20%7C%200.36%20%7C%0A%20%20%20%20%7C%20Pedestrian%20half%20hidden%20%7C%2040%25%20%7C%200.92%20%7C%0A%20%20%20%20%7C%20Pedestrian%20at%20night%20%7C%2010%25%20%7C%202.30%20%7C%0A%0A%20%20%20%20Teach%20them%20in%20that%20order.%20The%20usual%20claim%20is%20that%20you%20reach%20your%20target%20accuracy%2020%E2%80%9330%25%0A%20%20%20%20faster%20than%20feeding%20photos%20in%20randomly.%0A%0A%20%20%20%20Worth%20knowing%3A%20it%20doesn't%20always%20work.%20Sometimes%20random%20order%20wins.%20The%20variations%0A%20%20%20%20mostly%20argue%20about%20*pacing*%20%E2%80%94%20how%20fast%20to%20introduce%20the%20hard%20stuff%2C%20and%20whether%20the%0A%20%20%20%20model%20decides%20for%20itself%20or%20follows%20a%20schedule%20you%20set.%0A%0A%20%20%20%20%23%23%23%20Short%20of%20labels%3A%20that's%20the%20next%20two%0A%0A%20%20%20%20The%20other%20two%20are%20both%20about%20not%20having%20enough%20labels.%20**Active%20learning**%20has%20some%0A%20%20%20%20money%20and%20spends%20it.%20**Semi-supervised%20learning**%20has%20no%20money%20and%20manages%20anyway.%0A%0A%20%20%20%20Those%20two%20are%20worth%20doing%20slowly%2C%20because%20they%20both%20compute%20the%20same%20number%20and%20then%20do%0A%20%20%20%20the%20exact%20opposite%20thing%20with%20it.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Short%20of%20labels%2C%20with%20money%3A%20ask%20about%20the%20confusing%20ones%0A%0A%20%20%20%20Back%20to%20the%20doorbell.%20You%20have%2010%2C000%20labelled%20photos%2C%2090%2C000%20unlabelled%2C%20and%20budget%20to%0A%20%20%20%20get%201%2C000%20more%20labelled.%20Paying%20a%20human%20to%20label%20one%20photo%20costs%20somewhere%20between%20%245%0A%20%20%20%20and%20%24100%20depending%20on%20how%20specialised%20the%20judgement%20is.%20So%20that%20budget%20is%20real%20money%2C%0A%20%20%20%20and%20the%20question%20is%20which%201%2C000%20photos%20to%20spend%20it%20on.%0A%0A%20%20%20%20The%20idea%20behind%20**active%20learning**%20is%20to%20let%20the%20model%20choose.%20Train%20it%20on%20the%2010%2C000%0A%20%20%20%20you%20have%2C%20then%20run%20it%20over%20the%20unlabelled%20pile.%20For%20every%20photo%20it%20gives%20you%20three%0A%20%20%20%20percentages%3A%20how%20likely%20it%20thinks%20person%2C%20package%2C%20and%20nothing%20are.%20Where%20it%20is%20unsure%2C%0A%20%20%20%20a%20human%20label%20would%20teach%20it%20a%20lot.%20Where%20it%20is%20confident%2C%20a%20human%20label%20tells%20it%0A%20%20%20%20something%20it%20already%20knew.%0A%0A%20%20%20%20Here%20are%20five%20photos%20from%20the%20pile.%20But%20%22unsure%22%20turns%20out%20to%20have%20more%20than%20one%0A%20%20%20%20meaning%2C%20so%20pick%20a%20definition%20and%20watch%20who%20gets%20chosen.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20pick%2C%20saved)%3A%0A%20%20%20%20_strats%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Its%20best%20guess%20is%20the%20weakest%20(least%20confidence)%22%3A%20%22conf%22%2C%0A%20%20%20%20%20%20%20%20%22Its%20top%20two%20guesses%20are%20closest%20together%20(margin)%22%3A%20%22margin%22%2C%0A%20%20%20%20%20%20%20%20%22It%20is%20spreading%20its%20bet%20most%20evenly%20(entropy)%22%3A%20%22entropy%22%2C%0A%20%20%20%20%20%20%20%20%22Don't%20choose.%20Pick%20one%20at%20random%22%3A%20%22random%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20strategy%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D_strats%2C%0A%20%20%20%20%20%20%20%20value%3Dpick(_strats%2C%20saved.get(%22strategy%22))%20or%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Its%20best%20guess%20is%20the%20weakest%20(least%20confidence)%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%20label%3D%22**Which%20photo%20counts%20as%20the%20one%20it's%20most%20unsure%20about%3F**%22%2C%0A%20%20%20%20)%0A%20%20%20%20strategy%0A%20%20%20%20return%20(strategy%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(strategy)%3A%0A%20%20%20%20import%20math%20as%20_math%0A%0A%20%20%20%20%23%20Five%20frames%20from%20the%20unlabelled%20pool%2C%20as%20(person%2C%20package%2C%20empty).%20Chosen%20so%0A%20%20%20%20%23%20the%20three%20uncertainty%20measures%20do%20not%20agree%2C%20which%20is%20the%20point%20of%20the%20section.%0A%20%20%20%20POOL%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22f1%22%2C%20(0.40%2C%200.35%2C%200.25)%2C%20%22Something%20at%20the%20edge%20of%20the%20frame%22)%2C%0A%20%20%20%20%20%20%20%20(%22f2%22%2C%20(0.34%2C%200.33%2C%200.33)%2C%20%22Heavy%20rain%2C%20low%20light%22)%2C%0A%20%20%20%20%20%20%20%20(%22f3%22%2C%20(0.45%2C%200.45%2C%200.10)%2C%20%22A%20figure%20holding%20a%20box%22)%2C%0A%20%20%20%20%20%20%20%20(%22f4%22%2C%20(0.50%2C%200.25%2C%200.25)%2C%20%22Dusk%2C%20movement%20near%20the%20gate%22)%2C%0A%20%20%20%20%20%20%20%20(%22f5%22%2C%20(0.90%2C%200.05%2C%200.05)%2C%20%22A%20pedestrian%20on%20the%20path%22)%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20def%20scores(p)%3A%0A%20%20%20%20%20%20%20%20top%20%3D%20sorted(p%2C%20reverse%3DTrue)%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22conf%22%3A%201.0%20-%20top%5B0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22margin%22%3A%20top%5B0%5D%20-%20top%5B1%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22entropy%22%3A%20-sum(q%20*%20_math.log(q)%20for%20q%20in%20p%20if%20q%20%3E%200)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22random%22%3A%200.0%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20POOL_SCORES%20%3D%20%5B(name%2C%20probs%2C%20scene%2C%20scores(probs))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20name%2C%20probs%2C%20scene%20in%20POOL%5D%0A%20%20%20%20%23%20Least%20confidence%20and%20entropy%20want%20the%20largest%20score%2C%20margin%20the%20smallest.%0A%20%20%20%20_key%20%3D%20strategy.value%0A%20%20%20%20if%20_key%20%3D%3D%20%22random%22%3A%0A%20%20%20%20%20%20%20%20query_order%20%3D%20%5Bn%20for%20n%2C%20_p%2C%20_s%2C%20_sc%20in%20POOL_SCORES%5D%0A%20%20%20%20elif%20_key%20%3D%3D%20%22margin%22%3A%0A%20%20%20%20%20%20%20%20query_order%20%3D%20%5Bn%20for%20n%2C%20_p%2C%20_s%2C%20_sc%20in%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sorted(POOL_SCORES%2C%20key%3Dlambda%20r%3A%20r%5B3%5D%5B%22margin%22%5D)%5D%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20query_order%20%3D%20%5Bn%20for%20n%2C%20_p%2C%20_s%2C%20_sc%20in%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sorted(POOL_SCORES%2C%20key%3Dlambda%20r%3A%20-r%5B3%5D%5B_key%5D)%5D%0A%20%20%20%20query_pick%20%3D%20query_order%5B0%5D%0A%20%20%20%20return%20POOL_SCORES%2C%20query_order%2C%20query_pick%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20POOL_SCORES%2C%20mo%2C%20query_order%2C%20strategy)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20_rank%20%3D%20%7Bn%3A%20i%20%2B%201%20for%20i%2C%20n%20in%20enumerate(query_order)%7D%0A%20%20%20%20_random%20%3D%20strategy.value%20%3D%3D%20%22random%22%0A%20%20%20%20_body%20%3D%20%22%22%0A%20%20%20%20for%20_n%2C%20_p%2C%20_scene%2C%20_sc%20in%20POOL_SCORES%3A%0A%20%20%20%20%20%20%20%20_r%20%3D%20_rank%5B_n%5D%0A%20%20%20%20%20%20%20%20_body%20%2B%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctr%20class%3D'%7B'on'%20if%20_r%20%3D%3D%201%20and%20not%20_random%20else%20''%7D'%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctd%3E%3Ccode%3E%7B_n%7D%3C%2Fcode%3E%3C%2Ftd%3E%3Ctd%3E%7B_scene%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctd%20class%3D'num'%3E%7B_p%5B0%5D%3A.2f%7D%20%2F%20%7B_p%5B1%5D%3A.2f%7D%20%2F%20%7B_p%5B2%5D%3A.2f%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctd%20class%3D'num'%3E%7B_sc%5B'conf'%5D%3A.2f%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctd%20class%3D'num'%3E%7B_sc%5B'margin'%5D%3A.2f%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctd%20class%3D'num'%3E%7B_sc%5B'entropy'%5D%3A.3f%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctd%20class%3D'num'%3E%7B'any'%20if%20_random%20else%20_r%7D%3C%2Ftd%3E%3C%2Ftr%3E%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Ctable%20class%3D%22w7-table%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cthead%3E%3Ctr%3E%3Cth%3EPhoto%3C%2Fth%3E%3Cth%3EWhat's%20in%20it%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cth%3EModel%20says%20person%20%2F%20package%20%2F%20nothing%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cth%3EWeakest%20best%20guess%3C%2Fth%3E%3Cth%3EClosest%20top%20two%3C%2Fth%3E%3Cth%3EMost%20evenly%20spread%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cth%3EYour%20pick%20order%3C%2Fth%3E%3C%2Ftr%3E%3C%2Fthead%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctbody%3E%7B_body%7D%3C%2Ftbody%3E%0A%20%20%20%20%20%20%20%20%3C%2Ftable%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20query_pick%2C%20strategy)%3A%0A%20%20%20%20_notes%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22conf%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22This%20sends%20**%7Bquery_pick%7D**%20off%20to%20be%20labelled%3A%20the%20photo%20where%20the%20model's%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22best%20guess%20is%20weakest.%20It%20is%20the%20simplest%20thing%20to%20compute%20and%20the%20easiest%20to%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22explain%20to%20whoever%20controls%20the%20budget.%5Cn%5CnIts%20weakness%20is%20that%20it%20only%20looks%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22at%20one%20number%2C%20the%20top%20guess%2C%20and%20ignores%20everything%20underneath.%20So%20it%20can't%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22tell%20the%20difference%20between%20a%20photo%20where%20the%20model%20is%20torn%20between%20two%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22specific%20answers%20and%20one%20where%20it's%20vaguely%20lost%20about%20all%20three.%20Those%20are%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22different%20problems.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22margin%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22This%20sends%20**%7Bquery_pick%7D**%20%E2%80%94%20and%20notice%20that's%20a%20*different%20photo*%20from%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22one%20the%20other%20two%20methods%20picked.%20Worth%20pausing%20on.%5Cn%5CnMargin%20asks%20%5C%22how%20close%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22is%20this%20decision%3F%5C%22%20So%20%60f3%60%20wins%20outright%3A%20the%20model%20is%20sitting%20at%2045%25%20person%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2245%25%20package.%20It%20is%20perfectly%20torn%2C%20and%20one%20human%20label%20would%20settle%20it%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22completely.%5Cn%5CnNow%20look%20at%20where%20%60f3%60%20ranks%20under%20%5C%22most%20evenly%20spread%5C%22%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**fourth**.%20Because%2045%20%2F%2045%20%2F%2010%20isn't%20evenly%20spread%20at%20all%20%E2%80%94%20the%20model%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22quite%20sure%20it%20isn't%20nothing.%20Both%20methods%20are%20right%2C%20they're%20just%20answering%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22different%20questions.%20If%20what%20you%20care%20about%20is%20a%20close%20call%20between%20two%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22options%2C%20margin%20is%20your%20measure.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22entropy%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22This%20sends%20**%7Bquery_pick%7D**%2C%20and%20it%20is%20the%20only%20one%20of%20the%20three%20that%20looks%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22at%20all%20three%20numbers%20rather%20than%20just%20the%20top%20one%20or%20two.%20Reach%20for%20it%20when%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22you%20have%20lots%20of%20possible%20answers%20and%20a%20photo%20can%20be%20confusing%20in%20more%20than%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22one%20way.%5Cn%5CnWith%20only%20three%20classes%20it%20mostly%20agrees%20with%20%5C%22weakest%20best%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22guess%5C%22.%20The%20interesting%20disagreement%20is%20%60f3%60%3A%20this%20method%20ranks%20it%20fourth%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22margin%20ranks%20it%20first.%20Have%20a%20look%20at%20its%20numbers%20and%20work%20out%20why.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22random%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Not%20choosing%20at%20all%2C%20and%20here%20is%20the%20unglamorous%20finding%20from%20decades%20of%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22research%20on%20this%3A%20**it's%20hard%20to%20beat.**%5Cn%5CnEvery%20clever%20method%20above%20is%20making%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22a%20bet%20that%20the%20model's%20own%20confidence%20is%20trustworthy.%20Early%20in%20training%20it%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22isn't.%20And%20a%20model%20that%20is%20confidently%20wrong%20is%20invisible%20to%20all%20three%20of%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22them%20%E2%80%94%20it%20will%20never%20flag%20the%20photos%20it's%20most%20badly%20mistaken%20about%2C%20because%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22it%20doesn't%20know%20it's%20mistaken.%5Cn%5CnRandom%20makes%20no%20bet%2C%20costs%20nothing%2C%20and%20gives%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22you%20a%20labelled%20set%20that%20actually%20represents%20your%20data%2C%20which%20means%20you%20can%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22measure%20things%20with%20it.%20If%20somebody%20shows%20you%20an%20active%20learning%20result%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22without%20the%20random%20comparison%20at%20the%20same%20budget%2C%20they%20haven't%20shown%20you%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22anything.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%7D%0A%20%20%20%20mo.callout(mo.md(_notes%5Bstrategy.value%5D)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20table%20above%20has%20five%20photos%2C%20which%20hides%20a%20problem%20you'd%20hit%20immediately%20in%20real%0A%20%20%20%20life%2C%20where%20you%20have%2090%2C000%20photos%20and%20a%20budget%20for%201%2C000.%0A%0A%20%20%20%20Sort%20all%2090%2C000%20by%20how%20unsure%20the%20model%20is.%20Take%20the%20top%201%2C000.%20What%20you%20will%20very%0A%20%20%20%20often%20get%20is%20**1%2C000%20near-identical%20photos%20of%20the%20one%20thing%20the%20model%20finds%20confusing.**%0A%20%20%20%20At%20%2450%20each%2C%20that's%20%2450%2C000%20spent%20asking%20the%20same%20question%20a%20thousand%20times.%20One%20label%0A%20%20%20%20would%20have%20done.%0A%0A%20%20%20%20This%20is%20the%20Part%203%20problem%20back%20again%2C%20so%20the%20fix%20is%20the%20Part%203%20fix%3A%20sort%20by%0A%20%20%20%20uncertainty%2C%20then%20pick%20**one%20of%20each%20kind**%20from%20the%20top%20of%20that%20list.%20Nearly%20all%20real%0A%20%20%20%20active%20learning%20systems%20do%20both%2C%20in%20that%20order.%0A%0A%20%20%20%20One%20other%20method%20worth%20knowing%20by%20name.%20**Query%20by%20committee**%3A%20train%20five%20models%0A%20%20%20%20instead%20of%20one%2C%20and%20ask%20about%20the%20photos%20they%20disagree%20with%20each%20other%20about.%20Five%20times%0A%20%20%20%20the%20cost%2C%20and%20more%20reliable%20%E2%80%94%20it's%20much%20harder%20for%20five%20models%20to%20be%20confidently%20wrong%0A%20%20%20%20together%20than%20for%20one.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Short%20of%20labels%2C%20with%20no%20money%3A%20use%20the%20model's%20own%20guesses%0A%0A%20%20%20%20Now%20change%20one%20thing.%20The%20budget%20is%20zero.%20You%20still%20have%2090%2C000%20unlabelled%20photos%20and%20a%0A%20%20%20%20model%20that%20will%20happily%20give%20you%20percentages%20for%20all%20of%20them.%0A%0A%20%20%20%20**Pseudo-labelling**%20is%20the%20obvious%20move%2C%20once%20you%20hear%20it%3A%20where%20the%20model%20is%20already%0A%20%20%20%20confident%2C%20just%20write%20its%20guess%20down%20as%20if%20it%20were%20the%20truth%2C%20and%20train%20on%20that.%20Pick%20a%0A%20%20%20%20cut-off%2C%20say%2085%25%20sure.%20Anything%20above%20it%20gets%20a%20label.%20Anything%20below%20gets%20thrown%20away.%0A%0A%20%20%20%20And%20now%20notice%20what%20has%20happened.%20Active%20learning%20and%20pseudo-labelling%20look%20at%20**the%0A%20%20%20%20very%20same%20number**%20and%20go%20in%20opposite%20directions.%20Move%20the%20cut-off%20and%20watch%20the%20last%0A%20%20%20%20column.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20saved)%3A%0A%20%20%20%20tau%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%2050%2C%2099%2C%20value%3Dsaved.get(%22tau%22%2C%2085)%2C%20step%3D1%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22How%20sure%20must%20it%20be%20before%20we%20believe%20it%3F%20(%25)%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20tau%0A%20%20%20%20return%20(tau%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20POOL_SCORES%2C%20mo%2C%20query_pick%2C%20tau)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20_t%20%3D%20tau.value%20%2F%20100.0%0A%20%20%20%20_classes%20%3D%20(%22person%22%2C%20%22package%22%2C%20%22empty%22)%0A%20%20%20%20_IN%20%3D%20'%3Cspan%20class%3D%22tick%22%3Ebelieve%20it%2C%20train%20on%20it%3C%2Fspan%3E'%0A%20%20%20%20_WANTED%20%3D%20'%3Cspan%20class%3D%22cross%22%3Ethe%20one%20the%20human%20was%20going%20to%20label%3C%2Fspan%3E'%0A%20%20%20%20_body%20%3D%20%22%22%0A%20%20%20%20for%20_n%2C%20_p%2C%20_scene%2C%20_sc%20in%20POOL_SCORES%3A%0A%20%20%20%20%20%20%20%20_top%20%3D%20max(_p)%0A%20%20%20%20%20%20%20%20_lab%20%3D%20_classes%5B_p.index(_top)%5D%0A%20%20%20%20%20%20%20%20_ok%20%3D%20_top%20%3E%3D%20_t%0A%20%20%20%20%20%20%20%20_body%20%2B%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctr%20class%3D'%7B'on'%20if%20_ok%20else%20'off'%7D'%3E%3Ctd%3E%3Ccode%3E%7B_n%7D%3C%2Fcode%3E%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctd%20class%3D'num'%3E%7B_top%3A.2f%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctd%3E%7B_lab%20if%20_ok%20else%20'%26mdash%3B'%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctd%3E%7B_IN%20if%20_ok%20else%20'discarded'%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctd%3E%7B_WANTED%20if%20_n%20%3D%3D%20query_pick%20else%20''%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3C%2Ftr%3E%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Ctable%20class%3D%22w7-table%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cthead%3E%3Ctr%3E%3Cth%3EPhoto%3C%2Fth%3E%3Cth%3EHow%20sure%3C%2Fth%3E%3Cth%3ELabel%20we%20write%20down%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cth%3EAt%20a%20%7Btau.value%7D%25%20cut-off%3C%2Fth%3E%3Cth%3E%3C%2Fth%3E%3C%2Ftr%3E%3C%2Fthead%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctbody%3E%7B_body%7D%3C%2Ftbody%3E%0A%20%20%20%20%20%20%20%20%3C%2Ftable%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(POOL_SCORES%2C%20mo%2C%20query_pick%2C%20tau)%3A%0A%20%20%20%20_t%20%3D%20tau.value%20%2F%20100.0%0A%20%20%20%20_kept%20%3D%20%5Bn%20for%20n%2C%20p%2C%20_s%2C%20_sc%20in%20POOL_SCORES%20if%20max(p)%20%3E%3D%20_t%5D%0A%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20(f%22At%20a%20**%7Btau.value%7D%25**%20cut-off%2C%20**%7Blen(_kept)%7D**%20of%20the%20five%20photos%20get%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20f%22labelled%20by%20the%20model%3A%20%7B'%2C%20'.join('%60'%20%2B%20k%20%2B%20'%60'%20for%20k%20in%20_kept)%7D.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_kept%20else%0A%20%20%20%20%20%20%20%20%20%20%20%20%20f%22At%20**%7Btau.value%7D%25**%20nothing%20makes%20the%20cut.%20Set%20the%20bar%20high%20enough%20and%20this%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%22whole%20technique%20quietly%20does%20nothing%2C%20leaving%20you%20training%20on%20the%2010%2C000%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%22photos%20you%20already%20had.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20f%22%5Cn%5CnNow%2C%20%60%7Bquery_pick%7D%60%20is%20the%20photo%20your%20active%20learner%20wanted%20to%20spend%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%2450%20on.%20Is%20it%20in%20the%20list%3F%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(%22Yes%20%E2%80%94%20and%20that%20should%20bother%20you.%20It%20got%20in%20*because*%20the%20model%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22confident%2C%20and%20the%20human%20was%20being%20asked%20about%20it%20because%20the%20model%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**isn't**.%20Something%20has%20gone%20wrong%20with%20your%20cut-off.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20query_pick%20in%20_kept%20else%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22No%2C%20and%20it%20never%20could%20be.%20It's%20the%20photo%20the%20model%20is%20least%20sure%20about%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22so%20it%20will%20always%20be%20the%20last%20one%20in.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%5Cn%5Cn**And%20that's%20the%20whole%20relationship.**%20One%20number%2C%20two%20opposite%20ends%3A%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%5Cn%5Cn-%20Active%20learning%20takes%20the%20photos%20the%20model%20is%20**worst**%20at%20and%20pays%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22human%2C%20because%20that's%20where%20the%20mistakes%20are.%5Cn-%20Pseudo-labelling%20takes%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22photos%20the%20model%20is%20**best**%20at%20and%20pays%20nobody%2C%20because%20that's%20where%20its%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22guesses%20are%20safe%20enough%20to%20trust.%5Cn%5CnSo%20the%20confusing%20photos%20are%20the%20valuable%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22ones%20*and*%20the%20expensive%20ones.%20The%20easy%20photos%20are%20free%20*and*%20nearly%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22worthless.%20Nothing%20about%20that%20is%20a%20coincidence%20%E2%80%94%20it's%20the%20same%20fact%20seen%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22from%20two%20budgets.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20The%20obvious%20objection%0A%0A%20%20%20%20You%20may%20already%20be%20uneasy%20about%20pseudo-labelling%2C%20and%20you%20should%20be.%20The%20model%20is%0A%20%20%20%20training%20on%20its%20own%20opinions.%20If%20it%20is%20confidently%20wrong%20about%20something%2C%20that%20wrong%0A%20%20%20%20answer%20becomes%20a%20training%20example%2C%20and%20now%20it%20is%20*more*%20confidently%20wrong.%20Whatever%20it%0A%20%20%20%20was%20already%20biased%20about%20gets%20worse.%0A%0A%20%20%20%20Raising%20the%20cut-off%20limits%20the%20damage%20and%20also%20gives%20you%20less%20data.%20That's%20the%20trade%2C%0A%20%20%20%20and%20there's%20no%20clever%20way%20out%20of%20it.%0A%0A%20%20%20%20%23%23%23%20The%20idea%20that%20fixes%20it%0A%0A%20%20%20%20Here%20is%20the%20trick%20that%20turns%20this%20from%20recycling%20into%20actually%20learning%20something%20new.%0A%0A%20%20%20%20Take%20an%20unlabelled%20photo.%20Rotate%20it%20slightly.%20Brighten%20it.%20Crop%20a%20corner%20off.%20You%20don't%0A%20%20%20%20know%20what's%20in%20the%20photo%20%E2%80%94%20but%20you%20know%20**it's%20still%20the%20same%20thing**.%20A%20person%20doesn't%0A%20%20%20%20stop%20being%20a%20person%20because%20you%20brightened%20the%20image.%0A%0A%20%20%20%20So%20you%20can%20demand%20that%20the%20model%20gives%20the%20same%20answer%20to%20both%20versions.%20And%20you%20can%0A%20%20%20%20check%20that%20**without%20ever%20knowing%20the%20right%20answer.**%20That's%20a%20genuinely%20new%20source%20of%0A%20%20%20%20information%2C%20squeezed%20out%20of%20unlabelled%20data%2C%20and%20it%20isn't%20circular%3A%20you're%20not%20asking%0A%20%20%20%20the%20model%20to%20agree%20with%20its%20own%20past%20guesses%2C%20you're%20asking%20it%20to%20be%20consistent%20with%0A%20%20%20%20itself%20right%20now.%0A%0A%20%20%20%20People%20call%20this%20**consistency%20regularisation**.%0A%0A%20%20%20%20%23%23%23%20FixMatch%3A%20both%20ideas%20together%0A%0A%20%20%20%20**FixMatch**%20is%20just%20those%20two%20ideas%20stapled%20together%2C%20and%20the%20result%20is%20neater%20than%0A%20%20%20%20either%20one%20alone.%20For%20each%20unlabelled%20photo%3A%0A%0A%20%20%20%201.%20Make%20an%20**easy**%20version.%20Flip%20it%2C%20nudge%20it%20a%20few%20pixels.%0A%20%20%20%202.%20Ask%20the%20model%20what%20it%20is.%20Take%20its%20best%20guess.%0A%20%20%20%203.%20**If%20it%20isn't%20confident%20enough%2C%20bin%20it.**%20(That's%20the%20slider%20above.)%0A%20%20%20%204.%20Make%20a%20**hard**%20version%20of%20the%20same%20photo.%20Crank%20the%20brightness%2C%20cut%20a%20chunk%20out%2C%0A%20%20%20%20%20%20%20distort%20it.%0A%20%20%20%205.%20Train%20the%20model%20to%20give%20the%20hard%20version%20the%20same%20answer%20it%20gave%20the%20easy%20one.%0A%0A%20%20%20%20Walk%20through%20a%20real%20one.%20A%20photo%20has%20a%20pedestrian%20in%20it%2C%20and%20nobody%20has%20labelled%20it.%0A%0A%20%20%20%20-%20Easy%20version%3A%20the%20model%20says%20**97%25%20person**.%20That%20clears%20a%2095%25%20cut-off%2C%20so%20we%20write%0A%20%20%20%20%20%20down%20%22person%22%20and%20keep%20going.%0A%20%20%20%20-%20Hard%20version%2C%20brightness%20pushed%20and%20half%20the%20figure%20hidden%3A%20the%20model%20says%20**60%25%0A%20%20%20%20%20%20person**.%20Much%20less%20sure.%0A%20%20%20%20-%20So%20we%20nudge%20it%3A%20*you%20said%2097%25%20on%20the%20easy%20one%2C%20be%20more%20confident%20on%20the%20hard%20one%0A%20%20%20%20%20%20too.*%0A%0A%20%20%20%20And%20that's%20the%20point.%20Step%203%20stops%20the%20model%20learning%20from%20its%20own%20bad%20guesses.%20Step%204%0A%20%20%20%20makes%20the%20good%20guesses%20actually%20worth%20learning%20from%2C%20because%20recognising%20a%20half-hidden%0A%20%20%20%20pedestrian%20in%20bad%20light%20is%20a%20genuinely%20harder%20skill%20than%20recognising%20a%20clear%20one.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20d8%2C%20d8_render%2C%20d8_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Check%208.**%20Active%20learning%20and%20FixMatch%20both%20sort%20the%20unlabelled%20photos%20by%20how%20%22%0A%20%20%20%20%20%20%20%20%22confident%20the%20model%20is.%20What%20does%20each%20one%20do%20with%20that%20sorted%20list%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Both%20take%20the%20unsure%20ones%3B%20they%20just%20differ%20in%20who%20does%20the%20labelling%22%3A%20%22both-unc%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Active%20learning%20takes%20the%20unsure%20end%20and%20pays%20a%20human%3B%20FixMatch%20takes%20the%20confident%20end%20and%20pays%20nobody%22%3A%20%22opposite%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Both%20take%20the%20confident%20ones%3B%20active%20learning%20then%20double-checks%20them%22%3A%20%22both-conf%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22opposite%22%2C%0A%20%20%20%20%20%20%20%20%22Opposite%20ends%20of%20one%20list%2C%20and%20it%20comes%20down%20to%20what%20each%20one%20is%20short%20of.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%22Active%20learning%20has%20money.%20So%20it%20buys%20the%20photos%20the%20model%20**can't**%20do%2C%20because%20%22%0A%20%20%20%20%20%20%20%20%22that's%20where%20a%20label%20changes%20something.%20FixMatch%20has%20no%20money.%20So%20it%20needs%20guesses%20%22%0A%20%20%20%20%20%20%20%20%22that%20are%20safe%2C%20which%20means%20the%20photos%20the%20model%20**can**%20do%20%E2%80%94%20and%20it%20accepts%20that%20%22%0A%20%20%20%20%20%20%20%20%22each%20one%20teaches%20very%20little.%5Cn%5CnThe%20nice%20consequence%3A%20these%20two%20don't%20compete%2C%20%22%0A%20%20%20%20%20%20%20%20%22they%20stack.%20Let%20the%20model%20label%20the%20confident%20end%20for%20free.%20Pay%20humans%20for%20the%20%22%0A%20%20%20%20%20%20%20%20%22unsure%20end.%20Ignore%20the%20middle.%20You've%20now%20used%20your%20whole%20pile%20of%20photos%20and%20spent%20%22%0A%20%20%20%20%20%20%20%20%22money%20only%20where%20it%20mattered.%5Cn%5CnThe%20first%20answer%20is%20worth%20naming%20as%20a%20mistake%2C%20%22%0A%20%20%20%20%20%20%20%20%22because%20it%20sounds%20right%20%E2%80%94%20both%20methods%20*do*%20care%20about%20confidence.%20But%20writing%20%22%0A%20%20%20%20%20%20%20%20%22down%20a%20label%20for%20a%20photo%20the%20model%20is%20unsure%20about%20is%20exactly%20the%20thing%20the%20cut-off%20%22%0A%20%20%20%20%20%20%20%20%22exists%20to%20prevent.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22d8%22%2C%0A%20%20%20%20)%0A%20%20%20%20d8%0A%20%20%20%20return%20d8%2C%20d8_render%2C%20d8_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(d8%2C%20d8_render)%3A%0A%20%20%20%20d8_render(d8.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20The%20three%20of%20them%2C%20side%20by%20side%0A%0A%20%20%20%20%7C%20%7C%20Use%20it%20when%20%7C%20What%20it%20decides%20%7C%20What%20it%20costs%20you%20%7C%0A%20%20%20%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%0A%20%20%20%20%7C%20Easy%20ones%20first%20%7C%20Training%20converges%20too%20slowly%20%7C%20What%20the%20model%20sees%2C%20and%20when%20%7C%20Scoring%20every%20photo%20once%20%7C%0A%20%20%20%20%7C%20Ask%20a%20human%20%7C%20You%20have%20money%20for%20labels%20%7C%20Which%20photos%20a%20human%20looks%20at%20%7C%20Retraining%20after%20every%20round%20%7C%0A%20%20%20%20%7C%20Model%20labels%20itself%20%7C%20You%20have%20no%20money%20for%20labels%20%7C%20Which%20of%20its%20guesses%20to%20believe%20%7C%20Two%20versions%20of%20every%20photo%20%7C%0A%0A%20%20%20%20Look%20at%20that%20last%20column%2C%20because%20it%20is%20the%20Part%205%20lesson%20wearing%20a%20different%20hat.%20The%0A%20%20%20%20expensive%20part%20of%20active%20learning%20**is%20not%20the%20labels**.%20It%20is%20that%20you%20have%20to%20retrain%0A%20%20%20%20the%20model%20after%20every%20batch%20before%20you%20can%20ask%20it%20what%20to%20buy%20next.%20Ten%20rounds%20of%0A%20%20%20%20active%20learning%20means%20ten%20training%20runs.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%207%3A%20Spend%20the%20money%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Right.%20Here%20is%20where%20you%20are%3A%0A%0A%20%20%20%20-%2090%2C000%20unlabelled%20photos%2C%20about%20two%20thirds%20of%20them%20empty%20daylight%20driveways.%0A%20%20%20%20-%20Budget%20to%20get%201%2C000%20of%20them%20labelled%20by%20a%20human.%0A%20%20%20%20-%20And%20one%20known%20problem%3A%20**the%20model%20keeps%20missing%20people%20at%20night.**%20That%20is%20the%0A%20%20%20%20%20%20failure%20that%20gets%20somebody%20hurt%20and%20the%20company%20sued.%0A%0A%20%20%20%20Pick%20how%20you%20spend%20the%201%2C000%20labels%2C%20and%20say%20what%20you'd%20conclude%20from%20each%20outcome.%0A%20%20%20%20This%20one%20goes%20in%20your%20report.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20pick%2C%20saved)%3A%0A%20%20%20%20_saved%20%3D%20saved.get(%22decision%22)%20or%20%7B%7D%0A%20%20%20%20_choices%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22The%201%2C000%20photos%20the%20model%20is%20least%20sure%20about%22%3A%20%22uncertain%22%2C%0A%20%20%20%20%20%20%20%20%221%2C000%20picked%20to%20cover%20every%20kind%20of%20photo%2C%20as%20in%20Part%203%22%3A%20%22diverse%22%2C%0A%20%20%20%20%20%20%20%20%221%2C000%20at%20random%22%3A%20%22random%22%2C%0A%20%20%20%20%20%20%20%20%22Spend%20nothing.%20Let%20the%20model%20label%20the%20confident%20ones%20and%20keep%20the%20money%22%3A%20%22pseudo%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20decision_form%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%7Bchoice%7D%0A%0A%20%20%20%20%20%20%20%20%7Bwhy%7D%0A%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20.batch(%0A%20%20%20%20%20%20%20%20%20%20%20%20choice%3Dmo.ui.radio(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20options%3D_choices%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3Dpick(_choices%2C%20_saved.get(%22choice%22))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**How%20do%20you%20spend%20the%20thousand%20labels%3F**%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20why%3Dmo.ui.text_area(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3D_saved.get(%22why%22%2C%20%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20placeholder%3D%22I%20expect...%20If%20night-time%20misses%20go%20down%2C%20that%20tells%20me...%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22If%20they%20don't%2C%20that%20tells%20me...%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Why%20that%20one%3F%20And%20what%20would%20you%20conclude%20if%20it%20worked%2C%20or%20if%20it%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22didn't%3F**%20Not%20marked%2C%20and%20you%20can%20change%20it%20as%20often%20as%20you%20like.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows%3D4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.form(%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_label%3D%22Submit%20my%20decision%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20validate%3Dlambda%20v%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Choose%20one%20of%20the%20four.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20v%20or%20v.get(%22choice%22)%20is%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22Write%20your%20reasoning%2C%20then%20submit.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20(v.get(%22why%22)%20or%20%22%22).strip()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20decision_form%0A%20%20%20%20return%20(decision_form%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(decision_form%2C%20mo%2C%20saved)%3A%0A%20%20%20%20_answer%20%3D%20decision_form.value%20or%20saved.get(%22decision%22)%0A%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20not%20_answer%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Pick%20an%20answer%2C%20say%20why%2C%20then%20press%20**Submit%20my%20decision**.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22)%2C%0A%20%20%20%20)%0A%20%20%20%20decision_choice%20%3D%20_answer%5B%22choice%22%5D%0A%20%20%20%20decision_why%20%3D%20_answer%5B%22why%22%5D.strip()%0A%20%20%20%20return%20decision_choice%2C%20decision_why%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(decision_choice%2C%20mo)%3A%0A%20%20%20%20_notes%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22uncertain%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20textbook%20answer%2C%20and%20it%20will%20probably%20beat%20random.%20But%20there%20are%20two%20traps%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22here%20and%20you%20should%20see%20them%20coming.%5Cn%5Cn**Trap%20one.**%20Two%20thirds%20of%20your%20photos%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22are%20the%20same%20driveway.%20So%20the%20%5C%22most%20unsure%5C%22%20list%20will%20be%20full%20of%20whatever%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22model%20finds%20slightly%20puzzling%20about%20*that%20one%20scene*.%20You%20could%20spend%20all%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%221%2C000%20labels%20asking%20the%20same%20question.%5Cn%5Cn**Trap%20two%2C%20and%20this%20is%20the%20bad%20one.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22It%20doesn't%20target%20your%20actual%20problem.%20You%20need%20night-time%20people.%20This%20method%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22only%20finds%20night%20photos%20if%20the%20model%20happens%20to%20be%20*unsure*%20about%20them.%20But%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22model%20that%20confidently%20calls%20a%20dark%20photo%20%5C%22nothing%5C%22%20is%20not%20unsure%20at%20all.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**Confidently%20wrong%20is%20completely%20invisible%20to%20this%20method**%2C%20and%20confidently%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22wrong%20is%20exactly%20your%20bug.%5Cn%5CnBoth%20are%20fixable%20and%20cheap.%20Split%20the%20pile%20by%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22time%20of%20day%20first.%20Then%20rank%20by%20uncertainty%20inside%20each%20group.%20Then%20spread%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22batch%20out%20using%20Part%203.%20That%20stack%20is%20roughly%20what%20real%20systems%20do.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22diverse%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20better%20fit%20for%20*this*%20dataset%20than%20pure%20uncertainty%2C%20and%20you%20can%20say%20why%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22before%20running%20it%3A%20the%20thing%20wrong%20with%20this%20data%20is%20**too%20many%20copies**%2C%20not%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22difficulty.%20Coverage%20attacks%20copies%20directly.%20It%20will%20not%20spend%20900%20labels%20on%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22driveways.%5Cn%5CnWhat%20you%20give%20up%20is%20that%20it%20doesn't%20know%20anything%20about%20labels%20or%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22about%20your%20model.%20It%20will%20cheerfully%20buy%20labels%20for%20photos%20the%20model%20already%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22handles%20perfectly%2C%20just%20because%20they%20look%20unusual.%20And%20as%20in%20Check%204%2C%20it%20has%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22no%20idea%20that%20night-time%20people%20are%20what%20you're%20judged%20on%20%E2%80%94%20so%20set%20a%20quota%20for%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22night%20photos%20first%2C%20then%20let%20it%20choose%20the%20rest.%5Cn%5CnHonest%20summary%3A%20coverage%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22the%20right%20**first**%20move%20when%20your%20data%20is%20full%20of%20copies.%20Uncertainty%20is%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22right%20**second**%20move%2C%20once%20the%20copies%20are%20gone%20and%20the%20model's%20opinion%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22worth%20listening%20to.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22random%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Not%20the%20clever%20answer%2C%20and%20genuinely%20defensible.%20Here's%20the%20argument.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Random%20gives%20you%20a%20*representative*%20set%20of%20labels%2C%20and%20that%20buys%20you%20two%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22things%20nothing%20else%20does.%20You%20can%20find%20out%20what's%20actually%20in%20your%20unlabelled%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22pile.%20And%20you%20get%20an%20honest%20way%20to%20measure%20the%20model.%5Cn%5CnThat%20second%20one%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22matters%20more%20than%20it%20sounds.%20Every%20clever%20method%20above%20deliberately%20picks%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22weird%2C%20confusing%20photos.%20**You%20cannot%20measure%20your%20night-time%20accuracy%20on%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22set%20that%20was%20chosen%20for%20being%20confusing.**%20The%20number%20would%20mean%20nothing.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20cost%20is%20that%20two%20thirds%20of%20your%20money%20goes%20on%20empty%20driveways.%5Cn%5CnSo%20what%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22most%20teams%20should%20actually%20do%20is%20split%20it%3A%20a%20few%20hundred%20at%20random%20so%20you%20can%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22measure%2C%20the%20rest%20chosen%20cleverly%20so%20you%20can%20learn.%20Working%20out%20that%20you%20need%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22both%20is%20worth%20more%20than%20picking%20the%20best%20single%20method.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22pseudo%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Free%2C%20tempting%2C%20and%20the%20one%20option%20that%20**cannot**%20fix%20the%20problem%20you%20were%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22given.%5Cn%5CnThink%20about%20which%20photos%20this%20collects.%20The%20ones%20the%20model%20is%20already%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22confident%20about%20%E2%80%94%20which%20here%20means%20daylight%20driveways.%20So%20you%20train%20the%20model%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22to%20be%20even%20better%20at%20daylight%20driveways.%20Your%20problem%20is%20that%20it%20doesn't%20know%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22what%20a%20person%20at%20night%20looks%20like%2C%20and%20no%20amount%20of%20its%20own%20daytime%20opinions%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22will%20ever%20tell%20it.%5Cn%5CnIt%20can%20actively%20go%20backwards.%20Suppose%20the%20model%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22confidently%20labels%20dark%20photos%20as%20%5C%22nothing%5C%22.%20This%20method%20will%20now%20generate%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22thousands%20of%20night%20photos%20labelled%20*nothing*%20and%20train%20on%20them.%20You%20have%20taught%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22it%20that%20nothing%20happens%20at%20night.%20That%20is%20your%20exact%20bug%2C%20with%20a%20budget%20behind%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22it.%5Cn%5CnIt%20isn't%20a%20bad%20technique.%20It's%20the%20wrong%20technique%20for%20a%20known%20gap.%20Run%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22it%20on%20the%20confident%20end%20*while*%20spending%20your%20money%20on%20the%20end%20the%20model%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22wrong%20about.%20And%20since%20the%201%2C000%20labels%20are%20already%20approved%2C%20spending%20zero%20of%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22them%20is%20a%20hard%20thing%20to%20justify%20to%20whoever%20approved%20them.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%7D%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20On%20your%20answer%22)%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(_notes%5Bdecision_choice%5D)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Same%20point%20as%20Week%206%3A%20how%20you%20reasoned%20matters%20more%20than%20which%20one%20you%20picked.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**A%20good%20plan%20is%20one%20where%20you%20can%20say%20in%20advance%20what%20each%20result%20would%20mean.**%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%5Cn%5CnSo%3A%20suppose%20night-time%20misses%20drop%20by%20half.%20Was%20that%20because%20you%20bought%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22night%20photos%2C%20or%20just%20because%20you%20added%201%2C000%20labels%20of%20anything%3F%20If%20you%20can't%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22tell%20those%20apart%20afterwards%2C%20you've%20spent%20the%20money%20and%20learnt%20nothing%20you%20can%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22use%20next%20quarter.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20What%20you%20should%20actually%20do%20on%20day%20one%0A%0A%20%20%20%20None%20of%20the%20above%2C%20in%20fact.%20Before%20picking%20any%20method%2C%20go%20and%20measure%20the%20data.%20All%20five%0A%20%20%20%20of%20these%20are%20a%20morning's%20work%20and%20any%20of%20them%20can%20change%20your%20whole%20plan.%0A%0A%20%20%20%20%7C%20Question%20%7C%20How%20you%20answer%20it%20%7C%20When%20to%20worry%20%7C%0A%20%20%20%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%0A%20%20%20%20%7C%20How%20many%20of%20these%20are%20copies%3F%20%7C%20Fingerprint%20them%20all%2C%20then%20look%20for%20near-copies%20%7C%20Over%2020%25%3A%20delete%20them%20and%20start%20again%20%7C%0A%20%20%20%20%7C%20Do%20copies%20span%20train%20and%20test%3F%20%7C%20Fingerprint%20both%20sets%20together%2C%20look%20for%20matches%20%7C%20Any%20at%20all%20%E2%80%94%20your%20accuracy%20number%20is%20wrong%20%7C%0A%20%20%20%20%7C%20Is%20it%20all%20coming%20from%20a%20few%20cameras%3F%20%7C%20Count%20photos%20per%20camera%2C%20per%20hour%20of%20day%20%7C%20A%20handful%20dominating%3A%20your%20%22coverage%22%20is%20coverage%20of%20them%20%7C%0A%20%20%20%20%7C%20How%20many%20labels%20are%20wrong%3F%20%7C%20Re-label%20300%20at%20random%20and%20compare%20%7C%20Over%20a%20few%20per%20cent%3A%20don't%20prune%20by%20difficulty%20%7C%0A%20%20%20%20%7C%20Where%20is%20the%20model%20actually%20failing%3F%20%7C%20Accuracy%20per%20group%2C%20on%20a%20*representative*%20test%20set%20%7C%20Almost%20always%20somewhere%20you%20didn't%20expect%20%7C%0A%0A%20%20%20%20That%20last%20row%20is%20the%20one%20everybody%20skips%2C%20and%20it%20decides%20all%20the%20others.%20Every%20method%20in%0A%20%20%20%20this%20lab%20is%20a%20way%20of%20spending%20a%20fixed%20budget%20on%20a%20specific%20gap.%20If%20you%20don't%20know%20what%0A%20%20%20%20the%20gap%20is%2C%20you're%20guessing%20%E2%80%94%20you're%20just%20guessing%20with%20arithmetic%20attached%2C%20which%20feels%0A%20%20%20%20better%20and%20isn't.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(decision_choice%2C%20locked%2C%20mo%2C%20saved)%3A%0A%20%20%20%20_%20%3D%20decision_choice%0A%20%20%20%20_saved%20%3D%20saved.get(%22reflection%22)%20or%20%7B%7D%0A%20%20%20%20reflect_form%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.md(%22%7Btakeaway%7D%22)%0A%20%20%20%20%20%20%20%20.batch(%0A%20%20%20%20%20%20%20%20%20%20%20%20takeaway%3Dmo.ui.text_area(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3D_saved.get(%22takeaway%22%2C%20%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20placeholder%3D%22I%20would%20measure...%20and%20if%20it%20came%20back%20as...%20I%20would%20change%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20plan%2C%20because...%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Last%20one.**%20Somebody%20hands%20you%20the%20100%2C000%20photos%20tomorrow%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22morning.%20Before%20you%20run%20any%20of%20this%2C%20what%20is%20the%20one%20thing%20you%20would%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22go%20and%20measure%3F%20And%20what%20result%20would%20make%20you%20change%20your%20plan%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows%3D4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.form(%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_label%3D%22Finish%20the%20lab%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20validate%3Dlambda%20v%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20None%20if%20v%20and%20(v.get(%22takeaway%22)%20or%20%22%22).strip()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22Write%20a%20sentence%20or%20two%2C%20then%20submit.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20reflect_form%0A%20%20%20%20return%20(reflect_form%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20reflect_form%2C%20saved)%3A%0A%20%20%20%20_answer%20%3D%20reflect_form.value%20or%20saved.get(%22reflection%22)%0A%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20not%20_answer%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Answer%20the%20last%20question%20to%20finish%20the%20lab.%22)%2C%20kind%3D%22warn%22)%2C%0A%20%20%20%20)%0A%20%20%20%20takeaway_text%20%3D%20_answer%5B%22takeaway%22%5D.strip()%0A%20%20%20%20done%20%3D%20True%0A%20%20%20%20return%20done%2C%20takeaway_text%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20d1%2C%0A%20%20%20%20d2%2C%0A%20%20%20%20d3%2C%0A%20%20%20%20d4%2C%0A%20%20%20%20d5%2C%0A%20%20%20%20d6%2C%0A%20%20%20%20d7%2C%0A%20%20%20%20d8%2C%0A%20%20%20%20decision_form%2C%0A%20%20%20%20el2n_keep%2C%0A%20%20%20%20hunch_form%2C%0A%20%20%20%20kc_keep%2C%0A%20%20%20%20kc_start%2C%0A%20%20%20%20keep_pct%2C%0A%20%20%20%20lab_sync%2C%0A%20%20%20%20method%2C%0A%20%20%20%20runs%2C%0A%20%20%20%20strategy%2C%0A%20%20%20%20tau%2C%0A)%3A%0A%20%20%20%20%23%20Marked%20answers%20go%20through%20record_once%2C%20so%20the%20first%20answer%20is%20the%20one%20that%0A%20%20%20%20%23%20counts.%20Sliders%20and%20the%20written%20decision%20can%20change%20freely.%0A%20%20%20%20if%20lab_sync%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20lab_sync.record_once(%0A%20%20%20%20%20%20%20%20%20%20%20%20d1%3Dd1.value%2C%20d2%3Dd2.value%2C%20d3%3Dd3.value%2C%20d4%3Dd4.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20d5%3Dd5.value%2C%20d6%3Dd6.value%2C%20d7%3Dd7.value%2C%20d8%3Dd8.value%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20lab_sync.record(%0A%20%20%20%20%20%20%20%20%20%20%20%20kc_start%3Dkc_start.value%2C%20kc_keep%3Dkc_keep.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20el2n_keep%3Del2n_keep.value%2C%20keep_pct%3Dkeep_pct.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20method%3Dmethod.value%2C%20runs%3Druns.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20strategy%3Dstrategy.value%2C%20tau%3Dtau.value%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20hunch_form.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20lab_sync.record(hunch%3Dhunch_form.value)%0A%20%20%20%20%20%20%20%20if%20decision_form.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20lab_sync.record(decision%3Ddecision_form.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(lab_sync%2C%20reflect_form)%3A%0A%20%20%20%20%23%20This%20form%20only%20exists%20once%20the%20decision%20is%20in%2C%20so%20it%20is%20recorded%20here.%0A%20%20%20%20if%20lab_sync%20is%20not%20None%20and%20reflect_form.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20lab_sync.record(reflection%3Dreflect_form.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20d1%2C%0A%20%20%20%20d1_sum%2C%0A%20%20%20%20d2%2C%0A%20%20%20%20d2_sum%2C%0A%20%20%20%20d3%2C%0A%20%20%20%20d3_sum%2C%0A%20%20%20%20d4%2C%0A%20%20%20%20d4_sum%2C%0A%20%20%20%20d5%2C%0A%20%20%20%20d5_sum%2C%0A%20%20%20%20d6%2C%0A%20%20%20%20d6_sum%2C%0A%20%20%20%20d7%2C%0A%20%20%20%20d7_sum%2C%0A%20%20%20%20d8%2C%0A%20%20%20%20d8_sum%2C%0A)%3A%0A%20%20%20%20%23%20One%20place%20that%20knows%20every%20marked%20answer%2C%20so%20the%20report%2C%20the%20score%20and%20the%0A%20%20%20%20%23%20dashboard%20cannot%20disagree.%0A%20%20%20%20CHECKS%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22What%20to%20work%20on%20when%20data%20is%20scarce%22%2C%20d1_sum(d1.value))%2C%0A%20%20%20%20%20%20%20%20(%22A%20learning%20rate%20is%20not%20a%20destination%22%2C%20d2_sum(d2.value))%2C%0A%20%20%20%20%20%20%20%20(%22What%20random%20picking%20leaves%20you%20with%22%2C%20d3_sum(d3.value))%2C%0A%20%20%20%20%20%20%20%20(%22Where%20coverage%20is%20blind%22%2C%20d4_sum(d4.value))%2C%0A%20%20%20%20%20%20%20%20(%22Two%20reasons%20a%20photo%20scores%20as%20hard%22%2C%20d5_sum(d5.value))%2C%0A%20%20%20%20%20%20%20%20(%22Copies%20that%20span%20train%20and%20test%22%2C%20d6_sum(d6.value))%2C%0A%20%20%20%20%20%20%20%20(%22When%20choosing%20costs%20more%20than%20it%20saves%22%2C%20d7_sum(d7.value))%2C%0A%20%20%20%20%20%20%20%20(%22One%20number%2C%20two%20opposite%20ends%22%2C%20d8_sum(d8.value))%2C%0A%20%20%20%20%5D%0A%20%20%20%20checks_right%20%3D%20sum(1%20for%20_n%2C%20(_t%2C%20_ok)%20in%20CHECKS%20if%20_ok)%0A%20%20%20%20checks_score%20%3D%20f%22%7Bchecks_right%7D%2F%7Blen(CHECKS)%7D%22%0A%20%20%20%20return%20CHECKS%2C%20checks_right%2C%20checks_score%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20CHECKS%2C%0A%20%20%20%20LAB_CSS%2C%0A%20%20%20%20SELECT_NAME%2C%0A%20%20%20%20acc%2C%0A%20%20%20%20checks_score%2C%0A%20%20%20%20decision_choice%2C%0A%20%20%20%20decision_why%2C%0A%20%20%20%20done%2C%0A%20%20%20%20el2n_noise%2C%0A%20%20%20%20kc_trace%2C%0A%20%20%20%20keep_pct%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20query_pick%2C%0A%20%20%20%20saved_hours%2C%0A%20%20%20%20sel_name%2C%0A%20%20%20%20strategy%2C%0A%20%20%20%20takeaway_text%2C%0A%20%20%20%20tau%2C%0A)%3A%0A%20%20%20%20_%20%3D%20(LAB_CSS%2C%20done)%0A%20%20%20%20_what%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22uncertain%22%3A%20%22Label%20the%201%2C000%20the%20model%20is%20least%20sure%20about%22%2C%0A%20%20%20%20%20%20%20%20%22diverse%22%3A%20%22Label%201%2C000%20picked%20to%20cover%20every%20kind%20of%20photo%22%2C%0A%20%20%20%20%20%20%20%20%22random%22%3A%20%22Label%201%2C000%20at%20random%22%2C%0A%20%20%20%20%20%20%20%20%22pseudo%22%3A%20%22Spend%20nothing%3B%20let%20the%20model%20label%20the%20confident%20ones%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20_strat%20%3D%20%7B%22conf%22%3A%20%22weakest%20best%20guess%22%2C%20%22margin%22%3A%20%22closest%20top%20two%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22entropy%22%3A%20%22most%20evenly%20spread%22%2C%20%22random%22%3A%20%22no%20strategy%2C%20just%20random%22%7D%0A%0A%20%20%20%20def%20_mark(entry)%3A%0A%20%20%20%20%20%20%20%20_text%2C%20_ok%20%3D%20entry%0A%20%20%20%20%20%20%20%20if%20_ok%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20'%3Cspan%20class%3D%22cross%22%3Enot%20answered%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20_icon%20%3D%20'%3Cspan%20class%3D%22tick%22%3Eright%3C%2Fspan%3E'%20if%20_ok%20else%20'%3Cspan%20class%3D%22cross%22%3Ewrong%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20return%20f%22%7B_text%7D%20%26middot%3B%20%7B_icon%7D%22%0A%0A%20%20%20%20_rows%20%3D%20%22%22.join(%0A%20%20%20%20%20%20%20%20f'%3Cdiv%20class%3D%22row%22%3E%3Cspan%20class%3D%22k%22%3E%7B_name%7D%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20f'%3Cspan%20class%3D%22v%22%3E%7B_mark(_entry)%7D%3C%2Fspan%3E%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20for%20_name%2C%20_entry%20in%20CHECKS%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Your%20Week%207%20report%22)%2C%0A%20%20%20%20%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w7-report%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EMarked%20checks%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%3Cspan%20class%3D%22w7-score%22%3E%7Bchecks_score%7D%3C%2Fspan%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3ESubset%20you%20picked%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3EKept%20%7Blen(kc_trace)%7D%20of%207%20photos%2C%20worst%20gap%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7Bkc_trace%5B-1%5D%5B2%5D%3A.1f%7D.%20Keeping%20only%20the%20hardest%20left%20%7Bel2n_noise%3A.0f%7D%20per%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cent%20wrong%20labels%20in%20what%20you'd%20train%20on%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EWhat%20it%20cost%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7BSELECT_NAME%5Bsel_name%5D%7D%2C%20keeping%20%7Bkeep_pct.value%7D%20per%20cent%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7Bsaved_hours%3A%2B%2C.1f%7D%20GPU-hours%20compared%20with%20training%20on%20everything%2C%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7Bacc%3A.1f%7D%20per%20cent%20accuracy%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EHow%20you%20chose%20what%20to%20label%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_strat%5Bstrategy.value%5D%7D%2C%20which%20picked%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ccode%3E%7Bquery_pick%7D%3C%2Fcode%3E.%20Model%20labelled%20its%20own%20guesses%20above%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7Btau.value%7D%20per%20cent%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EHow%20you%20spent%20the%20labels%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_what.get(decision_choice%2C%20decision_choice)%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EReasoning%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%20quote%22%3E%7Bdecision_why%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EWhat%20you%20would%20measure%20first%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%20quote%22%3E%7Btakeaway_text%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_rows%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(done%2C%20get_given%2C%20locked%2C%20mo%2C%20pick%2C%20saved%2C%20set_given)%3A%0A%20%20%20%20_%20%3D%20done%0A%20%20%20%20QUIZ%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22The%20order%20was%3A%20delete%20copies%2C%20then%20pick%20a%20subset%2C%20then%20sort%20easy-to-hard.%20What%20%22%0A%20%20%20%20%20%20%20%20%20%22does%20skipping%20the%20first%20step%20cost%20you%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%7B%22Nothing%2C%20as%20long%20as%20the%20subset%20method%20is%20a%20good%20one%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22You%20pay%20twice%2C%20because%20every%20later%20step%20has%20to%20score%20and%20rank%20all%20the%20copies%20too%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22Only%20storage%2C%20since%20the%20later%20steps%20will%20drop%20the%20copies%20anyway%22%3A%20%22c%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%22b%22)%2C%0A%20%20%20%20%20%20%20%20(%22You%20have%2090%2C000%20unlabelled%20photos%2C%20plenty%20of%20compute%2C%20and%20no%20money%20at%20all%20for%20%22%0A%20%20%20%20%20%20%20%20%20%22labelling.%20What%20can%20you%20still%20do%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%7B%22Ask%20a%20human%20about%20the%20confusing%20ones%2C%20since%20that%20needs%20the%20fewest%20labels%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22Show%20the%20easy%20ones%20first%2C%20since%20that%20just%20reorders%20what%20you%20have%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22Let%20the%20model%20label%20its%20own%20confident%20guesses%2C%20since%20that%20costs%20nothing%22%3A%20%22c%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%22c%22)%2C%0A%20%20%20%20%20%20%20%20(%22Your%20model%20picks%20up%20the%20easy%20cases%20quickly%2C%20then%20crawls%20on%20the%20hard%20ones.%20What%20%22%0A%20%20%20%20%20%20%20%20%20%22would%20you%20try%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%7B%22Show%20it%20the%20easy%20ones%20first%20and%20bring%20in%20hard%20ones%20gradually%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22Pay%20humans%20to%20label%20the%20hard%20cases%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22Delete%20the%20duplicates%2C%20since%20slow%20training%20means%20redundant%20data%22%3A%20%22c%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%22a%22)%2C%0A%20%20%20%20%5D%0A%20%20%20%20_saved%20%3D%20saved.get(%22quiz%22)%20or%20%7B%7D%0A%20%20%20%20_given%20%3D%20get_given()%0A%0A%20%20%20%20def%20_lock(n)%3A%0A%20%20%20%20%20%20%20%20def%20handler(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_k%20%3D%20%22quiz%22%20%2B%20str(n)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20value%20is%20not%20None%20and%20get_given().get(_k%2C%20_saved.get(str(n)))%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20set_given(lambda%20d%3A%20dict(d%2C%20**%7B_k%3A%20value%7D))%0A%20%20%20%20%20%20%20%20return%20handler%0A%0A%20%20%20%20quiz%20%3D%20mo.ui.array(%5B%0A%20%20%20%20%20%20%20%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%20%20%20%20options%3D_options%2C%20label%3Df%22**%7B_n%7D.**%20%7B_question%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3Dpick(_options%2C%20_given.get(%22quiz%22%20%2B%20str(_n)%2C%20_saved.get(str(_n))))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%20or%20_given.get(%22quiz%22%20%2B%20str(_n)%2C%20_saved.get(str(_n)))%20is%20not%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20on_change%3D_lock(_n)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20for%20_n%2C%20(_question%2C%20_options%2C%20_right)%20in%20enumerate(QUIZ%2C%201)%0A%20%20%20%20%5D)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Quiz%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%22Three%20questions%2C%20one%20answer%20each%2C%20marked%20when%20you%20submit.%22)%2C%0A%20%20%20%20%20%20%20%20*%5Bquiz%5B_i%5D%20for%20_i%20in%20range(len(QUIZ))%5D%2C%0A%20%20%20%20%5D%2C%20gap%3D1)%0A%20%20%20%20return%20QUIZ%2C%20quiz%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(CHECKS%2C%20QUIZ%2C%20checks_right%2C%20lab_sync%2C%20quiz)%3A%0A%20%20%20%20_quiz_right%20%3D%20sum(v%20%3D%3D%20q%5B2%5D%20for%20q%2C%20v%20in%20zip(QUIZ%2C%20quiz.value))%0A%20%20%20%20quiz_score%20%3D%20f%22%7B_quiz_right%7D%2F%7Blen(QUIZ)%7D%22%0A%20%20%20%20auto_score%20%3D%20f%22%7Bchecks_right%20%2B%20_quiz_right%7D%2F%7Blen(CHECKS)%20%2B%20len(QUIZ)%7D%22%0A%20%20%20%20if%20lab_sync%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20lab_sync.record_once(**%7Bstr(n)%3A%20v%20for%20n%2C%20v%20in%20enumerate(quiz.value%2C%201)%7D)%0A%20%20%20%20%20%20%20%20lab_sync.record(quiz%3D%7Bstr(n)%3A%20v%20for%20n%2C%20v%20in%20enumerate(quiz.value%2C%201)%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20quiz_score%3Dquiz_score%2C%20auto_score%3Dauto_score)%0A%20%20%20%20return%20auto_score%2C%20quiz_score%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(done%2C%20locked%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20done%0A%20%20%20%20%23%20Handing%20in%20cannot%20be%20undone%2C%20so%20it%20takes%20a%20tick%20as%20well%20as%20a%20press.%0A%20%20%20%20confirm%20%3D%20mo.ui.checkbox(%0A%20%20%20%20%20%20%20%20label%3D%22I%20have%20read%20my%20answers%20back%20and%20I%20know%20they%20cannot%20be%20changed%20after%20this%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(confirm%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(confirm%2C%20done%2C%20lab_sync%2C%20locked%2C%20mo%2C%20quiz)%3A%0A%20%20%20%20_%20%3D%20done%0A%20%20%20%20_unanswered%20%3D%20sum(v%20is%20None%20for%20v%20in%20quiz.value)%0A%20%20%20%20submit_button%20%3D%20mo.ui.run_button(%0A%20%20%20%20%20%20%20%20label%3D%22Submit%20my%20work%22%2C%0A%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlab_sync%20is%20None%20or%20locked%20or%20_unanswered%20%3E%200%0A%20%20%20%20%20%20%20%20or%20not%20confirm.value%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%22Send%20your%20answers%20to%20your%20instructor%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Submit%20your%20work%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Everything%20has%20been%20saving%20as%20you%20went.%20Handing%20in%20is%20the%20last%20step%20and%20it%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22final%3A%20once%20the%20lab%20is%20in%2C%20nothing%20on%20this%20page%20can%20be%20changed%2C%20the%20written%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22answers%20included.%20Read%20back%20through%20them%20first.%20If%20you%20hand%20in%20by%20mistake%2C%20ask%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22your%20instructor%20to%20reopen%20the%20lab%20for%20you.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(f%22%20**Answer%20the%20%7B_unanswered%7D%20quiz%20question%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B's'%20if%20_unanswered%20%3E%201%20else%20''%7D%20above%20first.**%22%20if%20_unanswered%20else%20%22%22)%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20confirm%2C%0A%20%20%20%20%20%20%20%20submit_button%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20(submit_button%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(%0A%20%20%20%20auto_score%2C%0A%20%20%20%20lab_status%2C%0A%20%20%20%20lab_sync%2C%0A%20%20%20%20locked%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20quiz_score%2C%0A%20%20%20%20reflect_form%2C%0A%20%20%20%20saved%2C%0A%20%20%20%20submit_button%2C%0A)%3A%0A%20%20%20%20%23%20Runs%20when%20the%20button%20is%20pressed%2C%20and%20otherwise%20just%20says%20where%20things%20stand.%0A%20%20%20%20if%20lab_sync%20is%20None%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22This%20copy%20of%20the%20lab%20is%20not%20connected%20to%20the%20course%20site%2C%20so%20it%20cannot%20be%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22submitted%20from%20here.%22%2C%20%22neutral%22)%0A%20%20%20%20elif%20submit_button.value%3A%0A%20%20%20%20%20%20%20%20_reply%20%3D%20await%20lab_sync.submit(%0A%20%20%20%20%20%20%20%20%20%20%20%20reflection%3Dreflect_form.value%20or%20saved.get(%22reflection%22)%2C%20finished%3DTrue)%0A%20%20%20%20%20%20%20%20if%20_reply.get(%22ok%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(f%22**Submitted.**%20Your%20instructor%20can%20see%20your%20work.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Quiz%3A%20**%7Bquiz_score%7D**.%20Marked%20answers%20overall%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bauto_score%7D**.%20That%20is%20the%20lab%20in%2C%20so%20nothing%20on%20this%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22page%20is%20saved%20from%20here%20on.%22%2C%20%22success%22)%0A%20%20%20%20%20%20%20%20elif%20_reply.get(%22submitted%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22**Already%20handed%20in.**%20This%20lab%20went%20in%20earlier%2C%20so%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22answers%20can%20no%20longer%20be%20changed.%22%2C%20%22warn%22)%0A%20%20%20%20%20%20%20%20elif%20_reply.get(%22locked%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22**Not%20submitted.**%20Your%20instructor%20has%20locked%20this%20lab.%22%2C%20%22danger%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Not%20submitted%3A**%20%7B_reply.get('error'%2C%20'something%20went%20wrong')%7D.%20Your%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22answers%20are%20still%20saved.%20Press%20**Submit%20my%20work**%20to%20try%20again.%22%2C%20%22danger%22)%0A%20%20%20%20elif%20lab_sync.last_submitted%20or%20lab_status.get(%22submitted%22)%3A%0A%20%20%20%20%20%20%20%20_when%20%3D%20str(lab_sync.last_submitted%20or%20lab_status.get(%22submittedAt%22)%20or%20%22%22)%5B%3A10%5D%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Submitted%20on%20%7B_when%7D.**%20Your%20answers%20are%20saved%20exactly%20as%20they%20were%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cannot%20be%20changed%20now.%20If%20you%20need%20another%20go%20at%20it%2C%20ask%20your%20instructor%20to%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22reopen%20the%20lab.%22%2C%20%22success%22)%0A%20%20%20%20elif%20locked%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22Your%20instructor%20has%20locked%20this%20lab%2C%20so%20it%20can%20no%20longer%20be%20submitted.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22warn%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22**Not%20submitted%20yet.**%20Press%20**Submit%20my%20work**%20when%20you%20are%20done.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22warn%22)%0A%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A