Week 8: The Photos You Need Don't Exist

Week 8: The Photos You Need Don't Exist - CSC/EE 8001

import%20marimo%0A%0A__generated_with%20%3D%20%220.24.0%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20app_title%3D%22Week%208%20-%20The%20Photos%20You%20Need%20Don't%20Exist%22%2C%0A)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20json%0A%0A%20%20%20%20return%20json%2C%20mo%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(json%2C%20mo)%3A%0A%20%20%20%20%23%20Progress%20saving.%20On%20the%20course%20site%2C%20labs%2Fgate%2Fgate.js%20signs%20the%20student%20in%0A%20%20%20%20%23%20and%20tags%20this%20tab%20with%20an%20%22rl%22%20query%20parameter.%20The%20notebook%20runs%20in%20a%20web%0A%20%20%20%20%23%20worker%2C%20so%20it%20talks%20to%20that%20script%20over%20a%20BroadcastChannel%20named%20after%20the%0A%20%20%20%20%23%20tag%2C%20and%20the%20script%20makes%20the%20API%20calls.%20Opened%20any%20other%20way%20(marimo%20edit%2C%0A%20%20%20%20%23%20a%20plain%20export)%20there%20is%20no%20tag%20and%20nothing%20is%20saved.%0A%20%20%20%20import%20sys%20as%20_sys%0A%0A%20%20%20%20class%20LabSync%3A%0A%20%20%20%20%20%20%20%20def%20__init__(self%2C%20tab)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20js%20import%20BroadcastChannel%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20pyodide.ffi%20import%20create_proxy%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.state%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20self.last_submitted%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20self._waiting%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20self._channel%20%3D%20BroadcastChannel.new(%22radiant-lab-%22%20%2B%20tab)%0A%20%20%20%20%20%20%20%20%20%20%20%20self._listener%20%3D%20create_proxy(self._receive)%0A%20%20%20%20%20%20%20%20%20%20%20%20self._channel.onmessage%20%3D%20self._listener%0A%0A%20%20%20%20%20%20%20%20def%20_receive(self%2C%20event)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20message%20%3D%20json.loads(event.data)%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20(TypeError%2C%20ValueError)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%0A%20%20%20%20%20%20%20%20%20%20%20%20waiting%20%3D%20self._waiting.pop(message.get(%22id%22)%2C%20None)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20waiting%20is%20not%20None%20and%20not%20waiting.done()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20waiting.set_result(message)%0A%0A%20%20%20%20%20%20%20%20def%20_send(self%2C%20op%2C%20message_id%2C%20**fields)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20message%20%3D%20%7B%22id%22%3A%20message_id%2C%20%22op%22%3A%20op%2C%20%22from%22%3A%20%22notebook%22%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20message.update(fields)%0A%20%20%20%20%20%20%20%20%20%20%20%20self._channel.postMessage(json.dumps(message))%0A%0A%20%20%20%20%20%20%20%20async%20def%20_request(self%2C%20op%2C%20timeout%3DNone%2C%20**fields)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20asyncio%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20uuid%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20message_id%20%3D%20uuid.uuid4().hex%0A%20%20%20%20%20%20%20%20%20%20%20%20reply%20%3D%20asyncio.get_event_loop().create_future()%0A%20%20%20%20%20%20%20%20%20%20%20%20self._waiting%5Bmessage_id%5D%20%3D%20reply%0A%20%20%20%20%20%20%20%20%20%20%20%20self._send(op%2C%20message_id%2C%20**fields)%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20await%20(reply%20if%20timeout%20is%20None%20else%20asyncio.wait_for(reply%2C%20timeout))%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20asyncio.TimeoutError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%7B%22ok%22%3A%20False%2C%20%22error%22%3A%20%22the%20page%20did%20not%20answer%20in%20time%22%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20finally%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self._waiting.pop(message_id%2C%20None)%0A%0A%20%20%20%20%20%20%20%20async%20def%20load(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Wait%20for%20sign-in%2C%20then%20return%20what%20this%20student%20saved%20before.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20reply%20%3D%20await%20self._request(%22load%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20self.state%20%3D%20dict(reply.get(%22state%22)%20or%20%7B%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20reply%0A%0A%20%20%20%20%20%20%20%20def%20record(self%2C%20**answers)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Remember%20these%20answers%3B%20the%20page%20saves%20them%20a%20moment%20later.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20uuid%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20changed%20%3D%20%7Bk%3A%20v%20for%20k%2C%20v%20in%20answers.items()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20k%20not%20in%20self.state%20or%20self.state%5Bk%5D%20!%3D%20v%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20changed%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.state.update(changed)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self._send(%22save%22%2C%20uuid.uuid4().hex%2C%20state%3Dself.state)%0A%0A%20%20%20%20%20%20%20%20def%20record_once(self%2C%20**answers)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22For%20marked%20questions%3A%20the%20first%20answer%20is%20the%20one%20that%20counts.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20fresh%20%3D%20%7Bk%3A%20v%20for%20k%2C%20v%20in%20answers.items()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20v%20is%20not%20None%20and%20self.state.get(k)%20is%20None%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20fresh%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.record(**fresh)%0A%0A%20%20%20%20%20%20%20%20async%20def%20submit(self%2C%20**answers)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Save%20everything%20now%20and%20mark%20the%20lab%20as%20submitted.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20self.state.update(answers)%0A%20%20%20%20%20%20%20%20%20%20%20%20reply%20%3D%20await%20self._request(%22submit%22%2C%20timeout%3D45%2C%20state%3Dself.state)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20reply.get(%22ok%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.last_submitted%20%3D%20reply.get(%22submittedAt%22)%20or%20%22today%22%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20reply%0A%0A%20%20%20%20def%20pick(options%2C%20value)%3A%0A%20%20%20%20%20%20%20%20%22%22%22The%20label%20a%20radio%20should%20show%20for%20a%20saved%20value%2C%20or%20None.%22%22%22%0A%20%20%20%20%20%20%20%20return%20next((label%20for%20label%2C%20v%20in%20options.items()%20if%20v%20%3D%3D%20value)%2C%20None)%0A%0A%20%20%20%20lab_sync%20%3D%20None%0A%20%20%20%20lab_status%20%3D%20%7B%7D%0A%20%20%20%20saved%20%3D%20%7B%7D%0A%20%20%20%20locked%20%3D%20False%0A%20%20%20%20_tab%20%3D%20mo.query_params().get(%22rl%22)%20if%20%22pyodide%22%20in%20_sys.modules%20else%20None%0A%20%20%20%20if%20_tab%3A%0A%20%20%20%20%20%20%20%20lab_sync%20%3D%20LabSync(_tab)%0A%20%20%20%20%20%20%20%20lab_status%20%3D%20await%20lab_sync.load()%0A%20%20%20%20%20%20%20%20saved%20%3D%20dict(lab_sync.state)%0A%20%20%20%20%20%20%20%20%23%20Handed%20in%20means%20read-only%3A%20the%20server%20refuses%20any%20further%20writes%2C%0A%20%20%20%20%20%20%20%20%23%20so%20every%20control%20on%20the%20page%20is%20disabled%20to%20match.%0A%20%20%20%20%20%20%20%20locked%20%3D%20bool(lab_status.get(%22locked%22)%20or%20lab_status.get(%22submitted%22))%0A%20%20%20%20return%20lab_status%2C%20lab_sync%2C%20locked%2C%20pick%2C%20saved%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20Which%20marked%20questions%20have%20been%20answered.%20These%20count%20towards%20the%20grade%2C%20so%0A%20%20%20%20%23%20each%20one%20takes%20a%20single%20answer%20and%20then%20stops%20accepting%20input.%0A%20%20%20%20get_given%2C%20set_given%20%3D%20mo.state(%7B%7D)%0A%20%20%20%20return%20get_given%2C%20set_given%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(get_given%2C%20locked%2C%20mo%2C%20pick%2C%20saved%2C%20set_given)%3A%0A%20%20%20%20def%20ask(prompt%2C%20options%2C%20correct%2C%20because%2C%20key)%3A%0A%20%20%20%20%20%20%20%20%22%22%22A%20marked%20question.%20One%20answer%2C%20then%20the%20explanation.%20No%20second%20go.%22%22%22%0A%20%20%20%20%20%20%20%20labels%20%3D%20%7Bvalue%3A%20label%20for%20label%2C%20value%20in%20options.items()%7D%0A%20%20%20%20%20%20%20%20BREAK%20%3D%20chr(10)%20%2B%20chr(10)%0A%20%20%20%20%20%20%20%20given%20%3D%20get_given().get(key%2C%20saved.get(key))%0A%0A%20%20%20%20%20%20%20%20def%20choose(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20value%20is%20not%20None%20and%20get_given().get(key%2C%20saved.get(key))%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20set_given(lambda%20d%3A%20dict(d%2C%20**%7Bkey%3A%20value%7D))%0A%0A%20%20%20%20%20%20%20%20radio%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%20%20%20%20options%3Doptions%2C%20label%3Dprompt%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3Dpick(options%2C%20given)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%20or%20given%20is%20not%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20on_change%3Dchoose%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20def%20render(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20answer%20%3D%20given%20if%20given%20is%20not%20None%20else%20value%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20answer%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22This%20one%20is%20marked%2C%20so%20you%20get%20one%20answer.%20Take%20a%20moment.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22neutral%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20ok%20%3D%20answer%20%3D%3D%20correct%0A%20%20%20%20%20%20%20%20%20%20%20%20head%20%3D%20(%22**Right.**%20%22%20if%20ok%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20f%22**Not%20quite.%20The%20answer%20is%20_%7Blabels%5Bcorrect%5D%7D_.**%20%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(head%20%2B%20BREAK%20%2B%20because)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22success%22%20if%20ok%20else%20%22warn%22)%0A%0A%20%20%20%20%20%20%20%20def%20summarise(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20answer%20%3D%20given%20if%20given%20is%20not%20None%20else%20value%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20answer%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%22not%20answered%22%2C%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20labels%5Banswer%5D%2C%20answer%20%3D%3D%20correct%0A%0A%20%20%20%20%20%20%20%20return%20radio%2C%20render%2C%20summarise%0A%0A%20%20%20%20return%20(ask%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20LAB_CSS%20%3D%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cstyle%3E%0A%20%20%20%20%20%20%20%20%20%20.w8-hero%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-left%3A%206px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20%23fffef8%3B%20border-radius%3A%2012px%3B%20padding%3A%2020px%2024px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-eyebrow%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.76rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.08em%3B%20text-transform%3A%20uppercase%3B%20margin%3A%200%200%208px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-hero%20h1%20%7B%20margin%3A%200%200%208px%3B%20font-size%3A%201.75rem%3B%20color%3A%20%23111%3B%20line-height%3A%201.2%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-hero%20p.sub%20%7B%20margin%3A%200%3B%20color%3A%20%233a3a3a%3B%20font-size%3A%201.02rem%3B%20line-height%3A%201.65%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-hero%20p.sub%20code%20%7B%20background%3A%20%23fff3cc%3B%20border%3A%201px%20solid%20%23f2dfaa%3B%20padding%3A%200%205px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%204px%3B%20font-size%3A%20.92rem%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-chips%20%7B%20display%3A%20flex%3B%20flex-wrap%3A%20wrap%3B%20gap%3A%208px%3B%20margin-top%3A%2014px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-chip%20%7B%20border%3A%201px%20solid%20%23f2dfaa%3B%20background%3A%20%23fff3cc%3B%20color%3A%20%2362490a%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%20999px%3B%20padding%3A%204px%2011px%3B%20font-size%3A%20.72rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20800%3B%20letter-spacing%3A%20.04em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-chip-plain%20%7B%20border-color%3A%20%23e0e0e0%3B%20background%3A%20%23f4f4f4%3B%20color%3A%20%234a4a4a%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w8-split%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%201.6fr%201fr%3B%20gap%3A%2024px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20start%3B%20margin%3A%204px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20900px)%20%7B%20.w8-split%20%7B%20grid-template-columns%3A%201fr%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-split%20%3E%20.body%20p%20%7B%20margin%3A%200%200%2012px%3B%20color%3A%20%232f2f2f%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A%201rem%3B%20line-height%3A%201.7%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-split%20%3E%20.body%20p%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-split%20code%20%7B%20background%3A%20%23f4f4f4%3B%20padding%3A%201px%205px%3B%20border-radius%3A%204px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A%20.88rem%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w8-aside%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-top%3A%204px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20background%3A%20%23fcfcfc%3B%20padding%3A%2015px%2017px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-aside%20h4%20%7B%20margin%3A%200%200%2010px%3B%20padding-left%3A%2024px%3B%20font-size%3A%20.76rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%236a5314%3B%20font-weight%3A%20800%3B%20letter-spacing%3A%20.06em%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-aside%20ol%20%7B%20margin%3A%200%3B%20padding-left%3A%2024px%3B%20list-style%3A%20decimal%20outside%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-aside%20li%20%7B%20color%3A%20%232f2f2f%3B%20font-size%3A%20.91rem%3B%20line-height%3A%201.5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin-bottom%3A%209px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-aside%20li%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-aside%20li%3A%3Amarker%20%7B%20color%3A%20%236a5314%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-aside%20.meta%20%7B%20border-top%3A%201px%20solid%20%23ececec%3B%20margin-top%3A%2013px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding-top%3A%2011px%3B%20padding-left%3A%2024px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-aside%20.meta%20div%20%7B%20display%3A%20flex%3B%20justify-content%3A%20space-between%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gap%3A%2010px%3B%20font-size%3A%20.85rem%3B%20margin-bottom%3A%206px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-aside%20.meta%20div%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-aside%20.meta%20dt%20%7B%20color%3A%20%236f6f6f%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-aside%20.meta%20dd%20%7B%20margin%3A%200%3B%20color%3A%20%23111%3B%20font-weight%3A%20700%3B%20text-align%3A%20right%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w8-question%20%7B%20border%3A%201px%20solid%20%23f2dfaa%3B%20background%3A%20%23fffdf5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20padding%3A%2014px%2018px%3B%20margin%3A%2018px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-question%20.lbl%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.74rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.06em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-question%20p%20%7B%20margin%3A%206px%200%200%3B%20color%3A%20%23111%3B%20font-size%3A%201.06rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.55%3B%20font-style%3A%20italic%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w8-grid%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20repeat(auto-fit%2C%20minmax(150px%2C%201fr))%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gap%3A%2012px%3B%20margin%3A%2014px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-stat%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-radius%3A%2010px%3B%20background%3A%20%23fff%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2011px%2013px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-stat%20.k%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.72rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.05em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-stat%20.v%20%7B%20display%3A%20block%3B%20color%3A%20%23111%3B%20font-size%3A%201.45rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.2%3B%20margin-top%3A%202px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-stat%20.why%20%7B%20display%3A%20block%3B%20color%3A%20%236f6f6f%3B%20font-size%3A%20.78rem%3B%20margin-top%3A%203px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.4%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-stat.green%20.v%20%7B%20color%3A%20%232e7d32%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-stat.red%20.v%20%7B%20color%3A%20%23c62828%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w8-mix%20%7B%20display%3A%20flex%3B%20height%3A%2052px%3B%20border-radius%3A%208px%3B%20overflow%3A%20hidden%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%23e6e6e6%3B%20margin%3A%2016px%200%208px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-mix%20span%20%7B%20display%3A%20flex%3B%20align-items%3A%20center%3B%20justify-content%3A%20center%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23fff%3B%20font-size%3A%20.8rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overflow%3A%20hidden%3B%20white-space%3A%20nowrap%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-mix%20.a%20%7B%20background%3A%20%234a6fa5%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-mix%20.b%20%7B%20background%3A%20%23c87f5a%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-mix%20.sig%20%7B%20background%3A%20%237cb47f%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-mix%20.noi%20%7B%20background%3A%20%239a9a9a%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w8-flow%20%7B%20display%3A%20flex%3B%20flex-wrap%3A%20wrap%3B%20align-items%3A%20stretch%3B%20gap%3A%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3A%2018px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-flow%20.step%20%7B%20flex%3A%201%201%20130px%3B%20border%3A%201px%20solid%20%23e6e6e6%3B%20background%3A%20%23fff%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2010px%3B%20padding%3A%2011px%2013px%3B%20margin%3A%204px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-flow%20.step%20.n%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.68rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.06em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-flow%20.step%20h5%20%7B%20margin%3A%203px%200%205px%3B%20font-size%3A%20.9rem%3B%20color%3A%20%23111%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-flow%20.step%20p%20%7B%20margin%3A%200%3B%20color%3A%20%235a5a5a%3B%20font-size%3A%20.8rem%3B%20line-height%3A%201.45%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-flow%20.step.drop%20%7B%20border-color%3A%20%23f0c9c9%3B%20background%3A%20%23fdf6f6%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-flow%20.step.keep%20%7B%20border-color%3A%20%23cfe4d0%3B%20background%3A%20%23f7fbf7%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w8-bars%20%7B%20display%3A%20flex%3B%20flex-direction%3A%20column%3B%20gap%3A%2010px%3B%20margin%3A%2016px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-bar%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20180px%201fr%20120px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20center%3B%20gap%3A%2012px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20640px)%20%7B%20.w8-bar%20%7B%20grid-template-columns%3A%20100px%201fr%2084px%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-bar%20.t%20%7B%20color%3A%20%234a4a4a%3B%20font-size%3A%20.87rem%3B%20line-height%3A%201.3%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-bar%20.track%20%7B%20display%3A%20block%3B%20background%3A%20%23f4f4f4%3B%20border%3A%201px%20solid%20%23ececec%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%206px%3B%20height%3A%2026px%3B%20overflow%3A%20hidden%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-bar%20.fill%20%7B%20display%3A%20block%3B%20height%3A%20100%25%3B%20background%3A%20%23c9c9c9%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-bar.good%20.fill%20%7B%20background%3A%20%237cb47f%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-bar.bad%20.fill%20%7B%20background%3A%20%23d98080%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-bar.gold%20.fill%20%7B%20background%3A%20%23f1b82d%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-bar%20.n%20%7B%20text-align%3A%20right%3B%20font-weight%3A%20800%3B%20font-size%3A%20.9rem%3B%20color%3A%20%23111%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20table.w8-table%20%7B%20border-collapse%3A%20collapse%3B%20margin%3A%2014px%200%3B%20font-size%3A%20.92rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A%20100%25%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w8-table%20th%2C%20table.w8-table%20td%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%209px%2013px%3B%20text-align%3A%20left%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20vertical-align%3A%20top%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w8-table%20th%20%7B%20background%3A%20%23fffdf5%3B%20color%3A%20%236a5314%3B%20font-size%3A%20.76rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%20.04em%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w8-table%20td.num%20%7B%20text-align%3A%20right%3B%20font-variant-numeric%3A%20tabular-nums%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w8-table%20tr.on%20td%20%7B%20background%3A%20%23fffdf5%3B%20font-weight%3A%20700%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w8-table%20tr.off%20td%20%7B%20color%3A%20%239a9a9a%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w8-table%20code%20%7B%20background%3A%20%23f4f4f4%3B%20padding%3A%201px%205px%3B%20border-radius%3A%204px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A%20.85rem%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w8-table%20.tick%20%7B%20color%3A%20%232e7d32%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w8-table%20.cross%20%7B%20color%3A%20%23c62828%3B%20font-weight%3A%20800%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w8-report%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-top%3A%205px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20background%3A%20%23fff%3B%20padding%3A%204px%2020px%2016px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%208px%2020px%20rgba(17%2C%2017%2C%2017%2C%20.06)%3B%20margin%3A%206px%200%204px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-report%20.row%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20200px%201fr%3B%20gap%3A%2016px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2012px%200%3B%20border-bottom%3A%201px%20solid%20%23f2f2f2%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20baseline%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-report%20.row%3Alast-child%20%7B%20border-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20720px)%20%7B%20.w8-report%20.row%20%7B%20grid-template-columns%3A%201fr%3B%20gap%3A%203px%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-report%20.k%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.74rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.06em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-report%20.v%20%7B%20color%3A%20%231c1c1c%3B%20font-size%3A%20.99rem%3B%20line-height%3A%201.55%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-report%20.tick%20%7B%20color%3A%20%232e7d32%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-report%20.cross%20%7B%20color%3A%20%23c62828%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-report%20.quote%20%7B%20border-left%3A%203px%20solid%20%23f1b82d%3B%20padding-left%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23333%3B%20font-style%3A%20italic%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w8-score%20%7B%20display%3A%20inline-block%3B%20background%3A%20%23fff3cc%3B%20border%3A%201px%20solid%20%23f2dfaa%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%208px%3B%20padding%3A%203px%2011px%3B%20font-weight%3A%20800%3B%20color%3A%20%2362490a%3B%20%7D%0A%20%20%20%20%20%20%20%20%3C%2Fstyle%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20LAB_CSS%0A%20%20%20%20return%20(LAB_CSS%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-hero%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22w8-eyebrow%22%3ECSC%2FEE%208001%20%26middot%3B%20Week%208%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ch1%3EThe%20Photos%20You%20Need%20Don't%20Exist%3C%2Fh1%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22sub%22%3ELast%20week%20you%20deleted%2080%2C000%20photos%20and%20saved%20most%20of%20a%20week%20of%0A%20%20%20%20%20%20%20%20%20%20GPU%20time.%20The%20doorbell%20still%20can't%20see%20people%20at%20night%20in%20the%20rain.%3Cbr%3E%3Cbr%3E%0A%20%20%20%20%20%20%20%20%20%20It%20never%20could.%20You%20only%20ever%20had%20100%20photos%20like%20that%2C%20and%20deleting%20things%20does%0A%20%20%20%20%20%20%20%20%20%20not%20create%20the%20ones%20you%20are%20missing.%20This%20week%20you%20make%20them%20instead%20%26mdash%3B%20and%0A%20%20%20%20%20%20%20%20%20%20then%20find%20out%20what%20a%20made-up%20photo%20really%20costs.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-chips%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w8-chip%22%3EWhen%20more%20data%20is%20the%20answer%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w8-chip%22%3ECheap%20tricks%20first%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w8-chip%22%3EHow%20image%20generators%20work%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w8-chip%22%3EWhy%20your%20GPU%20is%20idle%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w8-chip-plain%20w8-chip%22%3EChecks%20are%20marked%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Ch2%3EBefore%20we%20start%3C%2Fh2%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-split%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22body%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EWeek%207%20was%20about%20having%20too%20much%20data.%20You%20had%20100%2C000%20photos%2C%20could%20afford%0A%20%20%20%20%20%20%20%20%20%20%20%2020%2C000%2C%20and%20the%20job%20was%20to%20work%20out%20which%20ones%20were%20worth%20keeping.%20Every%0A%20%20%20%20%20%20%20%20%20%20%20%20technique%20was%20a%20way%20of%20%3Cem%3Eremoving%3C%2Fem%3E%20things.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EThis%20week%20is%20the%20opposite%20problem%2C%20and%20it%20needs%20the%20opposite%20tools.%20Some%20of%0A%20%20%20%20%20%20%20%20%20%20%20%20the%20photos%20you%20need%20were%20never%20taken.%20No%20amount%20of%20clever%20deleting%20will%20produce%0A%20%20%20%20%20%20%20%20%20%20%20%20a%20photo%20of%20a%20pedestrian%20in%20heavy%20rain%20at%20night%2C%20because%20that%20photo%20does%20not%0A%20%20%20%20%20%20%20%20%20%20%20%20exist%20in%20your%20dataset%20to%20be%20kept.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3ESo%20you%20have%20to%20make%20one.%20Which%20immediately%20raises%20three%20questions%20that%20are%0A%20%20%20%20%20%20%20%20%20%20%20%20more%20interesting%20than%20they%20sound.%20Can%20you%20fake%20it%20cheaply%20by%20messing%20with%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20photos%20you%20already%20have%3F%20If%20not%2C%20how%20do%20the%20generators%20that%20make%20images%20from%0A%20%20%20%20%20%20%20%20%20%20%20%20scratch%20actually%20work%3F%20And%20since%20generating%20isn't%20free%2C%20how%20do%20you%20tell%20whether%0A%20%20%20%20%20%20%20%20%20%20%20%20the%20whole%20exercise%20was%20worth%20it%3F%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EThen%2C%20at%20the%20end%2C%20a%20plot%20twist.%20You%20will%20speed%20up%20your%20training%20by%20deleting%0A%20%20%20%20%20%20%20%20%20%20%20%20three%20quarters%20of%20your%20data%2C%20and%20the%20job%20will%20take%20%3Cstrong%3Elonger%3C%2Fstrong%3E.%20That%0A%20%20%20%20%20%20%20%20%20%20%20%20one%20is%20not%20a%20trick%20question.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Caside%20class%3D%22w8-aside%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3EBy%20the%20end%20you%20can%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Col%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3ETell%20a%20%22too%20much%20data%22%20problem%20from%20a%20%22missing%20data%22%20problem%2C%20and%20pick%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20the%20right%20tool.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EMix%20two%20photos%20together%20and%20say%20what%20label%20the%20result%20should%20get.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EExplain%20how%20an%20image%20generator%20learns%2C%20without%20the%20maths.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EWork%20out%20what%20one%20%3Cem%3Eusable%3C%2Fem%3E%20fake%20photo%20costs%20you.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3ESay%20why%20a%20realistic%20photo%20can%20still%20ruin%20a%20model.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EFind%20the%20bottleneck%20in%20a%20training%20pipeline%20and%20know%20what%20won't%20fix%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20it.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fol%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22meta%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cdt%3ETime%3C%2Fdt%3E%3Cdd%3Eabout%2045%20min%3C%2Fdd%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cdt%3EBefore%20this%3C%2Fdt%3E%3Cdd%3EWeek%207%3C%2Fdd%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cdt%3EMarked%3F%3C%2Fdt%3E%3Cdd%3Echecks%20and%20quiz%2C%20one%20answer%20each%3C%2Fdd%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Faside%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-question%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22lbl%22%3EThe%20question%20this%20lab%20answers%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%3E%22The%20examples%20my%20model%20needs%20were%20never%20collected.%20Do%20I%20go%20and%20photograph%0A%20%20%20%20%20%20%20%20%20%20them%2C%20fake%20them%2C%20or%20generate%20them%20%26mdash%3B%20and%20how%20do%20I%20know%20which%20was%0A%20%20%20%20%20%20%20%20%20%20cheapest%3F%22%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%201%3A%20Find%20out%20what%20is%20actually%20wrong%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Someone%20finally%20measured%20the%20doorbell%20model%20properly%2C%20by%20splitting%20the%20test%20set%20up%0A%20%20%20%20instead%20of%20reporting%20one%20number.%20Here%20is%20what%20came%20back.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20_rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22Pedestrian%2C%20daylight%22%2C%2020000%2C%2097)%2C%0A%20%20%20%20%20%20%20%20(%22Pedestrian%2C%20night%22%2C%201000%2C%2083)%2C%0A%20%20%20%20%20%20%20%20(%22Pedestrian%2C%20night%20and%20heavy%20rain%22%2C%20100%2C%2062)%2C%0A%20%20%20%20%20%20%20%20(%22Pedestrian%2C%20partly%20hidden%22%2C%20500%2C%2075)%2C%0A%20%20%20%20%5D%0A%20%20%20%20_body%20%3D%20%22%22%0A%20%20%20%20for%20_scene%2C%20_n%2C%20_rec%20in%20_rows%3A%0A%20%20%20%20%20%20%20%20_bad%20%3D%20_rec%20%3C%2080%0A%20%20%20%20%20%20%20%20_w%20%3D%20max(2%2C%20_rec)%0A%20%20%20%20%20%20%20%20_body%20%2B%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctr%20class%3D'%7B'on'%20if%20_bad%20else%20''%7D'%3E%3Ctd%3E%7B_scene%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctd%20class%3D'num'%3E%7B_n%3A%2C%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctd%3E%3Cspan%20style%3D'display%3Ainline-block%3Bheight%3A14px%3Bborder-radius%3A3px%3B%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22background%3A%7B'%23d98080'%20if%20_bad%20else%20'%237cb47f'%7D%3Bwidth%3A%7B_w%7D%25'%3E%3C%2Fspan%3E%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctd%20class%3D'num'%3E%7B_rec%7D%25%3C%2Ftd%3E%3C%2Ftr%3E%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Ctable%20class%3D%22w8-table%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cthead%3E%3Ctr%3E%3Cth%3EWhat%20is%20in%20the%20photo%3C%2Fth%3E%3Cth%3EReal%20training%20photos%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cth%3EHow%20often%20the%20model%20spots%20it%3C%2Fth%3E%3Cth%3E%3C%2Fth%3E%3C%2Ftr%3E%3C%2Fthead%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctbody%3E%7B_body%7D%3C%2Ftbody%3E%0A%20%20%20%20%20%20%20%20%3C%2Ftable%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Read%20the%20first%20and%20last%20columns%20together.%20The%20model%20is%20excellent%20at%20the%20thing%20it%20has%0A%20%20%20%2020%2C000%20examples%20of%20and%20poor%20at%20the%20thing%20it%20has%20100%20examples%20of.%20There%20is%20no%20mystery%0A%20%20%20%20here%2C%20and%20that%20is%20what%20makes%20it%20useful%3A%20the%20number%20of%20photos%20and%20the%20accuracy%20go%20up%20and%0A%20%20%20%20down%20together.%0A%0A%20%20%20%20Also%20notice%20what%20the%20overall%20accuracy%20would%20say.%20Daylight%20pedestrians%20are%20the%0A%20%20%20%20overwhelming%20majority%20of%20real%20events%2C%20so%20the%20average%20comes%20out%20around%2095%25%20and%20looks%0A%20%20%20%20fine.%20The%2062%25%20is%20invisible%20in%20it.%20That%20is%20the%20Week%204%20lesson%20arriving%20again%2C%20and%20it%20is%0A%20%20%20%20why%20nobody%20noticed%20this%20for%20six%20months.%0A%0A%20%20%20%20Now%2C%20before%20any%20technique%3A%20**what%20do%20you%20actually%20do%20about%20it%3F**%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20pick%2C%20saved)%3A%0A%20%20%20%20_saved%20%3D%20saved.get(%22hunch%22)%20or%20%7B%7D%0A%20%20%20%20_choices%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Go%20out%20and%20photograph%20more%20rainy%20nights%22%3A%20%22collect%22%2C%0A%20%20%20%20%20%20%20%20%22Take%20the%20daylight%20photos%20and%20darken%20them%2C%20add%20noise%2C%20make%20them%20look%20rainy%22%3A%20%22augment%22%2C%0A%20%20%20%20%20%20%20%20%22Use%20an%20AI%20image%20generator%20to%20make%20rainy%20night%20photos%22%3A%20%22generate%22%2C%0A%20%20%20%20%20%20%20%20%22Prune%20harder%2C%20as%20in%20Week%207%2C%20so%20training%20focuses%20on%20what%20is%20left%22%3A%20%22prune%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20hunch_form%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.md(%22%7Bchoice%7D%22)%0A%20%20%20%20%20%20%20%20.batch(%0A%20%20%20%20%20%20%20%20%20%20%20%20choice%3Dmo.ui.radio(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20options%3D_choices%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3Dpick(_choices%2C%20_saved.get(%22choice%22))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Your%20gut%20feeling%2C%20before%20we%20look%20at%20any%20of%20these%20properly.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Not%20marked.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.form(%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_label%3D%22That's%20my%20guess%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20validate%3Dlambda%20v%3A%20None%20if%20v%20and%20v.get(%22choice%22)%20else%20%22Pick%20one.%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20hunch_form%0A%20%20%20%20return%20(hunch_form%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(hunch_form%2C%20mo%2C%20saved)%3A%0A%20%20%20%20_answer%20%3D%20hunch_form.value%20or%20saved.get(%22hunch%22)%0A%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20not%20_answer%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Pick%20one%20and%20press%20**That's%20my%20guess**.%20Three%20of%20these%20four%20are%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reasonable%20and%20we%20will%20cost%20all%20of%20them%20out.%22)%2C%20kind%3D%22warn%22)%2C%0A%20%20%20%20)%0A%20%20%20%20hunch_choice%20%3D%20_answer%5B%22choice%22%5D%0A%20%20%20%20return%20(hunch_choice%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(hunch_choice%2C%20mo)%3A%0A%20%20%20%20_notes%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22collect%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20honest%20answer%2C%20and%20the%20one%20everybody%20skips%20past%20too%20quickly.%20It%20gives%20you%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**real**%20photos%20with%20**real**%20labels%2C%20from%20your%20actual%20cameras%2C%20with%20your%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22actual%20lens%20flare%20and%20compression%20artefacts.%20Nothing%20else%20in%20this%20lab%20can%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22promise%20that.%5Cn%5CnThe%20problem%20is%20simply%20that%20you%20don't%20control%20the%20weather.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Rainy%20nights%20happen%20when%20they%20happen%2C%20and%20if%20you%20need%206%2C000%20of%20them%20you%20may%20be%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22waiting%20two%20winters.%20Then%20somebody%20has%20to%20label%20each%20one.%5Cn%5CnKeep%20this%20option%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22on%20the%20table%20though.%20It%20is%20the%20thing%20everything%20else%20has%20to%20beat%2C%20and%20in%20Part%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%225%20we%20will%20put%20a%20price%20on%20it.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22augment%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Right%20instinct%2C%20and%20it%20should%20genuinely%20be%20your%20first%20move%20because%20it%20costs%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22almost%20nothing.%20Part%202%20is%20about%20this.%5Cn%5CnBut%20hold%20a%20specific%20doubt%20in%20mind%20as%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22you%20go.%20Turning%20the%20brightness%20down%20on%20a%20daylight%20photo%20gives%20you%20a%20dark%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22photo.%20It%20does%20not%20give%20you%20headlight%20reflections%20on%20wet%20tarmac%2C%20rain%20streaks%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22that%20are%20blurrier%20the%20further%20away%20they%20are%2C%20or%20an%20umbrella%20covering%20half%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22person.%20Those%20things%20are%20not%20a%20brightness%20setting.%20They%20are%20a%20different%20scene.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22generate%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22This%20is%20Parts%203%20and%204%2C%20and%20it%20is%20the%20only%20option%20that%20can%20produce%20scenes%20your%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cameras%20have%20genuinely%20never%20captured.%5Cn%5CnTwo%20things%20to%20watch%20for.%20It%20is%20not%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22free%2C%20and%20the%20cost%20is%20in%20a%20surprising%20place%20%26mdash%3B%20not%20the%20generating%2C%20as%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22you'll%20see%20in%20Part%205.%20And%20a%20generated%20photo%20arrives%20with%20no%20label%20at%20all.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Somebody%20still%20has%20to%20confirm%20there%20is%20actually%20a%20person%20in%20it%2C%20and%20where.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22prune%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22This%20is%20the%20trap%2C%20and%20it%20is%20worth%20having%20fallen%20into%20because%20it%20is%20the%20main%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22point%20of%20today.%5Cn%5CnWeek%207's%20methods%20all%20answer%20the%20question%20%5C%22which%20of%20my%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22photos%20are%20worth%20keeping%3F%5C%22%20Every%20one%20of%20them%20is%20a%20way%20of%20**removing**%20things.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22None%20of%20them%20can%20produce%20a%20rainy%20night%20photo%2C%20because%20you%20only%20have%20100%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22the%20information%20simply%20isn't%20in%20the%20dataset%20to%20be%20found.%5Cn%5CnPruning%20fixes%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22*redundancy*.%20You%20have%20a%20*coverage*%20problem.%20Different%20illness%2C%20different%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22medicine.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%7D%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20On%20your%20guess%22)%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(_notes%5Bhunch_choice%5D)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20e1%2C%20e1_render%2C%20e1_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Check%201.**%20Your%20colleague%20suggests%20running%20Week%207's%20k-center%20method%20again%2C%20more%20%22%0A%20%20%20%20%20%20%20%20%22aggressively%2C%20to%20focus%20training%20on%20the%20examples%20that%20matter.%20Will%20that%20raise%20the%20%22%0A%20%20%20%20%20%20%20%20%2262%25%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Yes%2C%20since%20it%20keeps%20the%20unusual%20photos%20and%20drops%20the%20repetitive%20ones%22%3A%20%22yes%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22No%2C%20because%20selection%20can%20only%20keep%20photos%20you%20already%20have%2C%20and%20you%20only%20have%20100%22%3A%20%22no%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Yes%2C%20but%20only%20if%20you%20also%20lower%20the%20learning%20rate%22%3A%20%22lr%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22no%22%2C%0A%20%20%20%20%20%20%20%20%22Selection%20methods%20are%20all%20subtraction.%20The%20very%20best%20possible%20outcome%20is%20that%20it%20%22%0A%20%20%20%20%20%20%20%20%22keeps%20all%20100%20of%20your%20rainy-night%20photos%20and%20throws%20away%20daylight%20ones.%20You%20would%20%22%0A%20%20%20%20%20%20%20%20%22then%20be%20training%20on%20100%20rainy-night%20photos%2C%20which%20is%20exactly%20what%20you%20were%20doing%20%22%0A%20%20%20%20%20%20%20%20%22before%2C%20and%2062%25%20is%20what%20100%20photos%20buys%20you.%5Cn%5CnThe%20general%20shape%20is%20worth%20%22%0A%20%20%20%20%20%20%20%20%22remembering%2C%20because%20the%20two%20problems%20look%20similar%20from%20a%20distance%20and%20need%20%22%0A%20%20%20%20%20%20%20%20%22opposite%20responses%3A%5Cn%5Cn-%20**Too%20much%20data%20(Week%207).**%20You%20have%20what%20you%20need%2C%20buried%20%22%0A%20%20%20%20%20%20%20%20%22in%20stuff%20you%20don't.%20Fix%20by%20removing.%5Cn-%20**Missing%20data%20(this%20week).**%20You%20don't%20%22%0A%20%20%20%20%20%20%20%20%22have%20what%20you%20need%20at%20all.%20Fix%20by%20adding.%5Cn%5CnDiagnose%20before%20you%20reach%20for%20a%20tool.%20%22%0A%20%20%20%20%20%20%20%20%22A%20pruning%20method%20pointed%20at%20a%20coverage%20problem%20will%20run%20happily%2C%20report%20a%20lovely%20%22%0A%20%20%20%20%20%20%20%20%22saving%2C%20and%20change%20nothing.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22e1%22%2C%0A%20%20%20%20)%0A%20%20%20%20e1%0A%20%20%20%20return%20e1%2C%20e1_render%2C%20e1_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(e1%2C%20e1_render)%3A%0A%20%20%20%20e1_render(e1.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20The%20comparison%20people%20get%20wrong%0A%0A%20%20%20%20Here%20is%20a%20mistake%20that%20sounds%20reasonable%20and%20quietly%20ruins%20the%20decision.%0A%0A%20%20%20%20In%20Week%207%2C%20success%20meant%20*doing%20less*%3A%20choosing%2020%2C000%20photos%20and%20finishing%20faster%20than%0A%20%20%20%20training%20on%20all%20100%2C000.%20Less%20compute%2C%20same%20accuracy.%20So%20the%20natural%20habit%20is%20to%20ask%20of%0A%20%20%20%20any%20new%20method%2C%20%22is%20this%20cheaper%20than%20what%20I%20was%20doing%20before%3F%22%0A%0A%20%20%20%20Apply%20that%20habit%20here%20and%20generating%20data%20always%20looks%20terrible.%20Of%20course%20it%20costs%0A%20%20%20%20more%20than%20not%20generating%20data.%20You%20are%20deliberately%20**adding**%20work%20in%20order%20to%20reach%20a%0A%20%20%20%20quality%20you%20cannot%20currently%20reach%20at%20any%20price.%0A%0A%20%20%20%20The%20right%20comparison%20is%20between%20the%20options%20that%20would%20actually%20get%20you%20there%3A%0A%0A%20%20%20%20%3E%20**Which%20way%20of%20reaching%2090%25%20rainy-night%20recall%20costs%20least%3F**%0A%0A%20%20%20%20Collecting%20real%20photos%20is%20one%20way.%20Generating%20them%20is%20another.%20Cheap%20augmentation%20might%0A%20%20%20%20be%20a%20third.%20They%20all%20get%20compared%20against%20each%20other%2C%20at%20the%20same%20target%20quality%2C%20and%0A%20%20%20%20*not*%20against%20an%20imaginary%20world%20where%20you%20already%20had%20the%20data.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20e2%2C%20e2_render%2C%20e2_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Check%202.**%20Your%20manager%20asks%20why%20they%20should%20approve%2019%20GPU-hours%20of%20image%20%22%0A%20%20%20%20%20%20%20%20%22generation%20when%20the%20current%20training%20run%20only%20takes%208.%20What%20is%20wrong%20with%20that%20%22%0A%20%20%20%20%20%20%20%20%22comparison%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Nothing.%20If%20generation%20costs%20more%20than%20current%20training%20it%20is%20not%20worth%20it%22%3A%20%22fine%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%208-hour%20run%20does%20not%20meet%20the%20requirement%2C%20so%20it%20is%20not%20an%20option%20you%20can%20actually%20choose%22%3A%20%22target%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22GPU-hours%20are%20the%20wrong%20unit%3B%20they%20should%20be%20compared%20in%20pounds%22%3A%20%22units%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22target%22%2C%0A%20%20%20%20%20%20%20%20%22The%208-hour%20run%20produces%20a%20model%20with%2062%25%20rainy-night%20recall.%20If%20the%20requirement%20is%20%22%0A%20%20%20%20%20%20%20%20%2290%25%2C%20that%20run%20is%20not%20a%20cheaper%20way%20of%20succeeding%2C%20it%20is%20a%20cheap%20way%20of%20failing.%20%22%0A%20%20%20%20%20%20%20%20%22You%20cannot%20compare%20the%20costs%20of%20two%20options%20when%20only%20one%20of%20them%20is%20an%20option.%22%0A%20%20%20%20%20%20%20%20%22%5Cn%5CnSo%20fix%20the%20quality%20first%2C%20then%20compare%20costs.%20%5C%22What%20is%20the%20cheapest%20way%20to%20%22%0A%20%20%20%20%20%20%20%20%22reach%2090%25%3F%5C%22%20has%20collecting%20real%20photos%2C%20generating%20them%2C%20and%20cheap%20augmentation%20%22%0A%20%20%20%20%20%20%20%20%22all%20competing%20on%20even%20terms%2C%20and%20whichever%20wins%20is%20genuinely%20the%20answer.%5Cn%5CnThe%20%22%0A%20%20%20%20%20%20%20%20%22third%20option%20has%20a%20real%20point%20buried%20in%20it%2C%20and%20it%20will%20matter%20in%20Part%205%3A%20GPU-hours%20%22%0A%20%20%20%20%20%20%20%20%22and%20human%20hours%20are%20both%20costs%2C%20and%20a%20method%20that%20is%20cheap%20in%20one%20can%20be%20ruinous%20%22%0A%20%20%20%20%20%20%20%20%22in%20the%20other.%20But%20converting%20units%20doesn't%20rescue%20a%20comparison%20against%20something%20%22%0A%20%20%20%20%20%20%20%20%22that%20doesn't%20work.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22e2%22%2C%0A%20%20%20%20)%0A%20%20%20%20e2%0A%20%20%20%20return%20e2%2C%20e2_render%2C%20e2_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(e2%2C%20e2_render)%3A%0A%20%20%20%20e2_render(e2.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%202%3A%20The%20cheap%20thing%20you%20should%20always%20try%20first%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Before%20generating%20anything%2C%20try%20the%20cheap%20trick%3A%20take%20photos%20you%20already%20have%20and%0A%20%20%20%20change%20them.%20Flip%20them%2C%20crop%20them%2C%20shift%20the%20colours%2C%20add%20noise.%20You%20get%20a%20%22new%22%0A%20%20%20%20training%20example%20for%20almost%20no%20compute%2C%20and%20crucially%20**you%20already%20know%20the%20label**%2C%0A%20%20%20%20because%20a%20flipped%20pedestrian%20is%20still%20a%20pedestrian.%0A%0A%20%20%20%20That%20last%20point%20is%20the%20whole%20appeal.%20The%20expensive%20part%20of%20data%20is%20usually%20the%20labelling%2C%0A%20%20%20%20and%20this%20skips%20it%20entirely.%0A%0A%20%20%20%20%23%23%23%20MixUp%3A%20a%20strange%20one%20that%20works%0A%0A%20%20%20%20Most%20augmentation%20is%20obvious.%20This%20one%20isn't%2C%20and%20it%20is%20worth%20understanding%20because%20it%0A%20%20%20%20forces%20you%20to%20think%20about%20what%20a%20label%20actually%20is.%0A%0A%20%20%20%20**MixUp%20takes%20two%20different%20photos%20and%20fades%20between%20them.**%20Not%20two%20copies%20of%20the%20same%0A%20%20%20%20photo.%20Two%20completely%20different%20ones.%20Photo%20A%20is%20a%20pedestrian%2C%20photo%20B%20is%20an%20empty%0A%20%20%20%20driveway%2C%20and%20you%20blend%20them%20into%20a%20ghostly%20double%20exposure.%0A%0A%20%20%20%20Which%20raises%20the%20obvious%20question%3A%20what%20is%20the%20label%20of%20a%20photo%20that%20is%2070%25%20pedestrian%3F%0A%0A%20%20%20%20The%20answer%20is%20that%20you%20blend%20the%20label%20by%20exactly%20the%20same%20amount.%20Drag%20the%20slider.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20saved)%3A%0A%20%20%20%20mix_lam%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200%2C%20100%2C%20value%3Dsaved.get(%22mix_lam%22%2C%2070)%2C%20step%3D5%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22How%20much%20of%20photo%20A%20(the%20pedestrian)%20is%20in%20the%20blend%2C%20%25%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mix_lam%0A%20%20%20%20return%20(mix_lam%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mix_lam%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20_lam%20%3D%20mix_lam.value%20%2F%20100.0%0A%20%20%20%20_a%2C%20_b%20%3D%20100.0%20*%20_lam%2C%20100.0%20*%20(1%20-%20_lam)%0A%0A%20%20%20%20def%20_seg(cls%2C%20w%2C%20text)%3A%0A%20%20%20%20%20%20%20%20return%20%22%22%20if%20w%20%3C%201%20else%20(f'%3Cspan%20class%3D%22%7Bcls%7D%22%20style%3D%22width%3A%7Bw%7D%25%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%7Btext%20if%20w%20%3E%2018%20else%20%22%22%7D%3C%2Fspan%3E')%0A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-mix%22%3E%0A%20%20%20%20%20%20%20%20%20%20%7B_seg(%22a%22%2C%20_a%2C%20%22photo%20A%20%26middot%3B%20pedestrian%22)%7D%0A%20%20%20%20%20%20%20%20%20%20%7B_seg(%22b%22%2C%20_b%2C%20%22photo%20B%20%26middot%3B%20empty%20driveway%22)%7D%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-grid%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EThe%20blended%20photo%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_lam%3A.2f%7D%20%26middot%3B%20%7B1%20-%20_lam%3A.2f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3E%7B_a%3A.0f%7D%25%20of%20A's%20pixels%20plus%20%7B_b%3A.0f%7D%25%20of%20B's%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EThe%20label%20you%20train%20on%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E(%7B_lam%3A.2f%7D%2C%20%7B1%20-%20_lam%3A.2f%7D)%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Eperson%20%7B_lam%3A.2f%7D%2C%20nothing%20%7B1%20-%20_lam%3A.2f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mix_lam%2C%20mo)%3A%0A%20%20%20%20_lam%20%3D%20mix_lam.value%20%2F%20100.0%0A%20%20%20%20if%20mix_lam.value%20in%20(0%2C%20100)%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22At%20the%20ends%20nothing%20is%20being%20mixed%2C%20so%20you%20are%20simply%20training%20on%20one%20of%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22original%20photos%20with%20its%20original%20label.%20MixUp%20does%20nothing%20here.%20Drag%20towards%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22the%20middle.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%2040%20%3C%3D%20mix_lam.value%20%3C%3D%2060%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22This%20is%20the%20interesting%20case.%20The%20label%20is%20**(%7B_lam%3A.2f%7D%2C%20%7B1%20-%20_lam%3A.2f%7D)**%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22and%20you%20should%20stop%20and%20ask%20what%20that%20even%20means.%5Cn%5CnIt%20is%20not%20%5C%22a%20person%5C%22.%20It%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22is%20not%20%5C%22not%20a%20person%5C%22.%20It%20is%20an%20instruction%20to%20the%20model%3A%20*be%20exactly%20this%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22unsure*.%20If%20the%20model%20shouts%20PERSON%20at%2099%25%20confidence%20on%20this%20image%2C%20it%20gets%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22punished%2C%20even%20though%20there%20genuinely%20is%20most%20of%20a%20person%20in%20it.%5Cn%5CnThat%20sounds%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22perverse%20and%20it%20is%20the%20entire%20point.%20Models%20have%20a%20strong%20habit%20of%20being%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22wildly%20overconfident%20on%20inputs%20halfway%20between%20two%20things%20they%20know.%20MixUp%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22spends%20training%20time%20specifically%20in%20that%20gap%2C%20teaching%20the%20model%20to%20hedge%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22where%20hedging%20is%20correct.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20photo%20is%20**%7B100%20*%20_lam%3A.0f%7D%25**%20A%2C%20so%20the%20label%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**(%7B_lam%3A.2f%7D%2C%20%7B1%20-%20_lam%3A.2f%7D)**.%20Both%20move%20together%2C%20always.%20That%20is%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22whole%20rule.%5Cn%5CnNow%20drag%20it%20to%20the%20middle%2C%20where%20it%20gets%20strange.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20In%20practice%20you%20don't%20pick%20the%20blend%20by%20hand.%20You%20draw%20a%20random%20amount%20for%20every%20pair%2C%0A%20%20%20%20usually%20biased%20towards%20the%20ends%20so%20most%20blends%20are%20mild%20and%20a%20few%20are%20extreme.%0A%0A%20%20%20%20MixUp%20costs%20essentially%20nothing%2C%20needs%20no%20new%20labels%2C%20and%20tends%20to%20give%20a%20small%2C%20free%0A%20%20%20%20improvement.%20Which%20makes%20it%20a%20good%20example%20of%20the%20general%20rule%3A%20**do%20the%20cheap%20things%0A%20%20%20%20before%20the%20expensive%20ones%2C%20and%20measure%2C%20because%20the%20cheap%20thing%20is%20sometimes%20enough.**%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20e3%2C%20e3_render%2C%20e3_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Check%203.**%20A%20colleague%20wants%20to%20use%20MixUp%20on%20the%20text%20side%20of%20the%20product%2C%20%22%0A%20%20%20%20%20%20%20%20%22blending%20two%20customer%20support%20messages%20the%20same%20way.%20Why%20does%20this%20not%20work%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Text%20models%20cannot%20take%20soft%20labels%22%3A%20%22soft%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Halfway%20between%20two%20words%20is%20not%20a%20word%2C%20whereas%20halfway%20between%20two%20pixel%20values%20is%20a%20valid%20pixel%22%3A%20%22discrete%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22It%20works%2C%20but%20only%20for%20messages%20of%20the%20same%20length%22%3A%20%22length%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22discrete%22%2C%0A%20%20%20%20%20%20%20%20%22Pixel%20brightness%20is%20continuous.%200.7%20of%20one%20value%20plus%200.3%20of%20another%20lands%20on%20a%20%22%0A%20%20%20%20%20%20%20%20%22value%20that%20is%20perfectly%20valid%20and%20still%20looks%20like%20something.%20Blending%20is%20%22%0A%20%20%20%20%20%20%20%20%22meaningful.%5Cn%5CnWords%20aren't%20continuous.%20There%20is%20nothing%2070%25%20of%20the%20way%20between%20%22%0A%20%20%20%20%20%20%20%20%22%5C%22refund%5C%22%20and%20%5C%22delivery%5C%22%20%26mdash%3B%20the%20space%20between%20words%20is%20empty%2C%20not%20%22%0A%20%20%20%20%20%20%20%20%22intermediate.%20You%20can%20average%20their%20numeric%20representations%2C%20but%20the%20result%20%22%0A%20%20%20%20%20%20%20%20%22usually%20decodes%20to%20nonsense%20rather%20than%20to%20a%20plausible%20message.%5Cn%5CnThis%20is%20a%20%22%0A%20%20%20%20%20%20%20%20%22distinction%20worth%20keeping%20hold%20of%20beyond%20MixUp.%20**Continuous%20data%20can%20be%20%22%0A%20%20%20%20%20%20%20%20%22interpolated%3B%20discrete%20data%20cannot.**%20It%20is%20why%20image%20augmentation%20is%20a%20toolbox%20of%20%22%0A%20%20%20%20%20%20%20%20%22cheap%20geometric%20tricks%20while%20text%20augmentation%20leans%20on%20things%20like%20%22%0A%20%20%20%20%20%20%20%20%22back-translation%20and%20paraphrasing%20%26mdash%3B%20operations%20that%20stay%20inside%20the%20space%20of%20%22%0A%20%20%20%20%20%20%20%20%22real%20sentences%20instead%20of%20trying%20to%20find%20the%20middle%20of%20two%20of%20them.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22e3%22%2C%0A%20%20%20%20)%0A%20%20%20%20e3%0A%20%20%20%20return%20e3%2C%20e3_render%2C%20e3_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(e3%2C%20e3_render)%3A%0A%20%20%20%20e3_render(e3.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Where%20cheap%20augmentation%20runs%20out%0A%0A%20%20%20%20So%3A%20you%20have%20100%20real%20rainy-night%20photos%20and%2020%2C000%20daylight%20ones.%20You%20turn%20the%0A%20%20%20%20brightness%20down%20on%20the%20daylight%20photos%2C%20add%20some%20noise%2C%20crop%20them%20about%20a%20bit.%0A%0A%20%20%20%20Have%20you%20made%20rainy-night%20training%20data%3F%0A%0A%20%20%20%20No%2C%20and%20it%20is%20worth%20being%20precise%20about%20why%20not.%20A%20real%20rainy%20night%20photo%20contains%3A%0A%0A%20%20%20%20-%20**Headlights%20reflecting%20off%20wet%20tarmac**%2C%20which%20puts%20bright%20streaks%20in%20places%20a%0A%20%20%20%20%20%20darkened%20daylight%20photo%20has%20nothing%20at%20all.%0A%20%20%20%20-%20**Rain%20that%20blurs%20with%20distance**%2C%20heavier-looking%20far%20away%20than%20near%20the%20lens.%0A%20%20%20%20-%20**An%20umbrella**%2C%20covering%20the%20top%20half%20of%20the%20person%20you%20are%20trying%20to%20detect.%0A%20%20%20%20-%20**Several%20light%20sources%20at%20once**%2C%20a%20porch%20lamp%20and%20a%20streetlight%20and%20a%20car%2C%20each%0A%20%20%20%20%20%20throwing%20shadows%20in%20a%20different%20direction.%0A%0A%20%20%20%20None%20of%20those%20are%20adjustments%20to%20a%20daylight%20photo.%20They%20are%20a%20different%20arrangement%20of%0A%20%20%20%20the%20world.%20Brightness%20is%20a%20knob%3B%20rain%20is%20a%20scene.%0A%0A%20%20%20%20That%20gap%20is%20why%20the%20next%20three%20parts%20exist.%20When%20you%20need%20a%20scene%20you%20have%20never%0A%20%20%20%20photographed%2C%20you%20need%20something%20that%20can%20build%20one.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%203%3A%20How%20image%20generators%20actually%20work%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20models%20that%20make%20images%20from%20a%20text%20prompt%20are%20called%20**diffusion%20models**%2C%20and%20the%0A%20%20%20%20idea%20behind%20them%20is%20genuinely%20simple%20once%20somebody%20tells%20you%20the%20trick.%20Most%0A%20%20%20%20explanations%20don't%2C%20so%20here%20it%20is.%0A%0A%20%20%20%20%23%23%23%20The%20trick%0A%0A%20%20%20%20Making%20a%20photo%20from%20nothing%20is%20impossibly%20hard.%20So%20don't.%20Instead%2C%20learn%20to%20do%20a%20much%0A%20%20%20%20easier%20job%2C%20over%20and%20over.%0A%0A%20%20%20%20Take%20a%20real%20photo.%20Add%20a%20little%20static%20to%20it.%20Now%20you%20have%20a%20pair%3A%20the%20noisy%20photo%2C%20and%0A%20%20%20%20the%20exact%20static%20you%20added.%20Train%20a%20network%20on%20one%20question%20only%3A%0A%0A%20%20%20%20%3E%20Here%20is%20a%20slightly%20messy%20photo.%20**Which%20bits%20of%20it%20are%20the%20mess%3F**%0A%0A%20%20%20%20That's%20it.%20That's%20the%20whole%20training%20task.%0A%0A%20%20%20%20And%20here%20is%20why%20it%20is%20clever.%20**Nobody%20has%20to%20label%20anything.**%20You%20generated%20the%0A%20%20%20%20static%20yourself%2C%20so%20you%20already%20know%20the%20right%20answer%20perfectly.%20No%20annotator%2C%20no%0A%20%20%20%20bounding%20box%2C%20no%20%22is%20this%20a%20person%22.%20You%20can%20do%20this%20to%20every%20photo%20on%20the%20internet.%0A%0A%20%20%20%20%23%23%23%20Why%20solving%20that%20gives%20you%20a%20generator%0A%0A%20%20%20%20Now%20think%20about%20what%20the%20network%20must%20learn%20in%20order%20to%20spot%20the%20static.%20To%20know%20that%20a%0A%20%20%20%20pixel%20is%20wrong%2C%20it%20has%20to%20know%20what%20a%20right%20one%20would%20look%20like.%20It%20has%20to%20pick%20up%20that%0A%20%20%20%20faces%20have%20two%20eyes%20roughly%20there%2C%20that%20arms%20attach%20at%20shoulders%2C%20that%20shadows%20fall%20away%0A%20%20%20%20from%20lights%2C%20that%20tarmac%20is%20darker%20than%20sky.%0A%0A%20%20%20%20So%20you%20ask%20it%20to%20remove%20noise%20and%20it%20is%20forced%20to%20learn%20what%20real%20photos%20look%20like.%20The%0A%20%20%20%20knowledge%20arrives%20as%20a%20side%20effect%20of%20the%20chore.%0A%0A%20%20%20%20Then%20you%20cheat.%20Hand%20it%20a%20picture%20of%20**pure%20static**%20and%20ask%20it%20to%20clean%20that%20up.%20It%0A%20%20%20%20has%20never%20seen%20this%20one%2C%20so%20there%20is%20no%20%22correct%22%20answer%20underneath%2C%20but%20it%20does%20the%0A%20%20%20%20only%20thing%20it%20knows%3A%20nudge%20this%20towards%20looking%20like%20a%20real%20photo.%20Do%20that%20fifty%20times%0A%20%20%20%20in%20a%20row%2C%20each%20pass%20a%20little%20cleaner%2C%20and%20a%20photo%20of%20something%20that%20never%20existed%0A%20%20%20%20assembles%20itself%20out%20of%20the%20noise.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-flow%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22step%22%3E%3Cspan%20class%3D%22n%22%3ETraining%20%26middot%3B%201%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch5%3EReal%20photo%3C%2Fh5%3E%3Cp%3EAny%20photo.%20No%20label%20needed.%3C%2Fp%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22step%22%3E%3Cspan%20class%3D%22n%22%3ETraining%20%26middot%3B%202%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch5%3EAdd%20static%3C%2Fh5%3E%3Cp%3EYou%20choose%20it%2C%20so%20you%20know%20it%20exactly.%3C%2Fp%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22step%22%3E%3Cspan%20class%3D%22n%22%3ETraining%20%26middot%3B%203%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch5%3EGuess%20the%20static%3C%2Fh5%3E%3Cp%3ENetwork's%20only%20job.%20Score%20it%2C%20correct%20it%2C%20repeat.%3C%2Fp%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22step%20keep%22%3E%3Cspan%20class%3D%22n%22%3EMaking%20%26middot%3B%201%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch5%3EStart%20from%20pure%20static%3C%2Fh5%3E%3Cp%3ENo%20photo%20underneath%20at%20all.%3C%2Fp%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22step%20keep%22%3E%3Cspan%20class%3D%22n%22%3EMaking%20%26middot%3B%202%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch5%3EClean%20it%2C%2050%20times%3C%2Fh5%3E%3Cp%3EEach%20pass%20slightly%20more%20photo-like.%3C%2Fp%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22step%20keep%22%3E%3Cspan%20class%3D%22n%22%3EMaking%20%26middot%3B%203%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch5%3EA%20new%20photo%3C%2Fh5%3E%3Cp%3EOf%20something%20that%20never%20happened.%3C%2Fp%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Build%20one%20training%20example%20yourself%0A%0A%20%20%20%20Here%20is%20the%20recipe%20for%20mixing%20a%20clean%20photo%20with%20static%2C%20written%20down.%20It%20is%20one%20line%0A%20%20%20%20and%20you%20can%20do%20it%20on%20a%20single%20pixel%3A%0A%0A%20%20%20%20%24%24x_t%20%3D%20%5Csqrt%7B%5Cbar%5Calpha%7D%5C%2C%20x_0%20%5C%3B%2B%5C%3B%20%5Csqrt%7B1-%5Cbar%5Calpha%7D%5C%2C%20%5Cepsilon%24%24%0A%0A%20%20%20%20Three%20things%20go%20in.%20%24x_0%24%20is%20the%20real%20pixel.%20%24%5Cepsilon%24%20is%20the%20random%20static.%20And%0A%20%20%20%20%24%5Cbar%5Calpha%24%20is%20the%20dial%20that%20says%20how%20much%20of%20the%20photo%20survives%3A%20at%201.00%20you%20keep%0A%20%20%20%20everything%2C%20at%200.00%20you%20keep%20nothing%20but%20static.%0A%0A%20%20%20%20The%20square%20roots%20are%20there%20so%20the%20brightness%20stays%20sensible%20rather%20than%20the%20two%20parts%0A%20%20%20%20adding%20up%20to%20something%20too%20strong.%20Don't%20worry%20about%20why.%0A%0A%20%20%20%20The%20sliders%20start%20on%20the%20lecture's%20worked%20example.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20saved)%3A%0A%20%20%20%20alpha_bar%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201%2C%20100%2C%20value%3Dsaved.get(%22alpha_bar%22%2C%2064)%2C%20step%3D1%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22%CE%B1%CC%84%20%20how%20much%20of%20the%20photo%20survives%2C%20%25%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20x0_val%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20-100%2C%20100%2C%20value%3Dsaved.get(%22x0_val%22%2C%20100)%2C%20step%3D10%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22x%E2%82%80%20%20the%20real%20pixel%20(%C3%97%200.01)%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20eps_val%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20-200%2C%20200%2C%20value%3Dsaved.get(%22eps_val%22%2C%20-100)%2C%20step%3D10%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22%CE%B5%20%20the%20random%20static%20(%C3%97%200.01)%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Balpha_bar%2C%20x0_val%2C%20eps_val%5D)%0A%20%20%20%20return%20alpha_bar%2C%20eps_val%2C%20x0_val%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(alpha_bar%2C%20eps_val%2C%20x0_val)%3A%0A%20%20%20%20import%20math%20as%20_math%0A%0A%20%20%20%20ab%20%3D%20alpha_bar.value%20%2F%20100.0%0A%20%20%20%20x0%20%3D%20x0_val.value%20%2F%20100.0%0A%20%20%20%20eps%20%3D%20eps_val.value%20%2F%20100.0%0A%20%20%20%20sig_w%20%3D%20_math.sqrt(ab)%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20how%20much%20signal%20survives%0A%20%20%20%20noi_w%20%3D%20_math.sqrt(1.0%20-%20ab)%20%20%20%20%20%20%20%20%23%20how%20much%20static%20goes%20in%0A%20%20%20%20xt%20%3D%20sig_w%20*%20x0%20%2B%20noi_w%20*%20eps%0A%20%20%20%20return%20ab%2C%20eps%2C%20noi_w%2C%20sig_w%2C%20x0%2C%20xt%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20ab%2C%20eps%2C%20mo%2C%20noi_w%2C%20sig_w%2C%20x0%2C%20xt)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20_s%2C%20_n%20%3D%20100.0%20*%20sig_w%2C%20100.0%20*%20noi_w%0A%20%20%20%20_tot%20%3D%20_s%20%2B%20_n%0A%20%20%20%20_sp%2C%20_np%20%3D%20100.0%20*%20_s%20%2F%20_tot%2C%20100.0%20*%20_n%20%2F%20_tot%0A%0A%20%20%20%20def%20_seg(cls%2C%20w%2C%20text)%3A%0A%20%20%20%20%20%20%20%20return%20%22%22%20if%20w%20%3C%201%20else%20(f'%3Cspan%20class%3D%22%7Bcls%7D%22%20style%3D%22width%3A%7Bw%7D%25%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%7Btext%20if%20w%20%3E%2020%20else%20%22%22%7D%3C%2Fspan%3E')%0A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-mix%22%3E%0A%20%20%20%20%20%20%20%20%20%20%7B_seg(%22sig%22%2C%20_sp%2C%20%22real%20photo%22)%7D%0A%20%20%20%20%20%20%20%20%20%20%7B_seg(%22noi%22%2C%20_np%2C%20%22static%22)%7D%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-grid%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EPhoto%20part%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bsig_w%3A.3f%7D%20%26times%3B%20%7Bx0%3A%2B.2f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3E%26radic%3B%7Bab%3A.2f%7D%20%3D%20%7Bsig_w%3A.3f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EStatic%20part%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bnoi_w%3A.3f%7D%20%26times%3B%20%7Beps%3A%2B.2f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3E%26radic%3B%7B1%20-%20ab%3A.2f%7D%20%3D%20%7Bnoi_w%3A.3f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EThe%20messy%20pixel%20the%20network%20sees%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bxt%3A%2B.3f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3E%7Bsig_w%20*%20x0%3A%2B.3f%7D%20%7B'%2B'%20if%20noi_w%20*%20eps%20%3E%3D%200%20else%20'%26minus%3B'%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7Babs(noi_w%20*%20eps)%3A.3f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(alpha_bar%2C%20eps%2C%20mo%2C%20sig_w%2C%20x0%2C%20xt)%3A%0A%20%20%20%20if%20alpha_bar.value%20%3E%3D%2095%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Almost%20nothing%20has%20been%20done%20to%20it.%20The%20messy%20pixel%20is%20**%7Bxt%3A%2B.3f%7D**%20and%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22real%20one%20was%20**%7Bx0%3A%2B.2f%7D**.%20Easy%20question%20for%20the%20network%2C%20so%20it%20learns%20very%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22little%20from%20this%20example.%20Training%20samples%20a%20different%20amount%20of%20mess%20every%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22time%20for%20exactly%20this%20reason.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20alpha_bar.value%20%3C%3D%2010%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Now%20it%20is%20nearly%20all%20static.%20The%20messy%20pixel%20is%20**%7Bxt%3A%2B.3f%7D**%2C%20and%20the%20real%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22pixel%20has%20essentially%20vanished.%20The%20network%20cannot%20recover%20this%20one%20and%20isn't%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22expected%20to.%5Cn%5CnBut%20this%20is%20the%20state%20you%20*start%20from*%20when%20generating.%20Pure%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22static%2C%20no%20photo%20underneath%2C%20and%20the%20network%20cleans%20it%20up%20anyway%20%26mdash%3B%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22towards%20whatever%20it%20has%20learned%20real%20photos%20look%20like.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20pixel%20the%20network%20gets%20handed%20is%20**%7Bxt%3A%2B.3f%7D**%2C%20from%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bsig_w%3A.3f%7D%20%26times%3B%20%7Bx0%3A%2B.2f%7D**%20of%20real%20photo%20plus%20some%20static.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20_msg%20%2B%3D%20(%0A%20%20%20%20%20%20%20%20f%22%5Cn%5Cn**And%20now%20the%20question%20that%20matters.**%20The%20network's%20job%20is%20to%20look%20at%20%22%0A%20%20%20%20%20%20%20%20f%22%7Bxt%3A%2B.3f%7D%20and%20tell%20you%20the%20static%20was%20**%7Beps%3A%2B.2f%7D**.%20Did%20anyone%20have%20to%20label%20%22%0A%20%20%20%20%20%20%20%20%22this%20photo%20for%20that%20to%20be%20gradeable%3F%5Cn%5CnNo.%20You%20*chose*%20the%20static.%20You%20can%20mark%20%22%0A%20%20%20%20%20%20%20%20%22its%20homework%20perfectly%20without%20knowing%2C%20or%20caring%2C%20what%20the%20photo%20is%20of.%20That%20is%20%22%0A%20%20%20%20%20%20%20%20%22why%20these%20models%20can%20be%20trained%20on%20billions%20of%20images%3A%20the%20training%20signal%20comes%20%22%0A%20%20%20%20%20%20%20%20%22free%20with%20the%20data.%22%0A%20%20%20%20)%0A%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20e4%2C%20e4_render%2C%20e4_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Check%204.**%20To%20train%20a%20diffusion%20model%20on%20a%20photo%2C%20what%20does%20a%20human%20have%20to%20%22%0A%20%20%20%20%20%20%20%20%22write%20down%20about%20that%20photo%20first%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20class%20label%2C%20so%20the%20model%20knows%20what%20it%20is%20learning%20to%20draw%22%3A%20%22class%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Nothing.%20The%20training%20answer%20is%20the%20static%2C%20which%20the%20pipeline%20chose%20itself%22%3A%20%22nothing%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20bounding%20box%20around%20the%20main%20object%22%3A%20%22box%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22nothing%22%2C%0A%20%20%20%20%20%20%20%20%22This%20is%20the%20property%20that%20made%20these%20models%20possible%20at%20the%20scale%20they%20exist%20at.%20%22%0A%20%20%20%20%20%20%20%20%22The%20thing%20being%20predicted%20is%20the%20static%2C%20and%20the%20static%20was%20generated%20by%20the%20%22%0A%20%20%20%20%20%20%20%20%22training%20code%20three%20lines%20earlier.%20The%20answer%20key%20writes%20itself.%5Cn%5CnSo%20the%20usual%20%22%0A%20%20%20%20%20%20%20%20%22bottleneck%20vanishes.%20Every%20other%20model%20in%20this%20course%20needs%20somebody%20to%20say%20what%20%22%0A%20%20%20%20%20%20%20%20%22each%20example%20is%3B%20this%20one%20needs%20a%20hard%20drive%20full%20of%20photos%20and%20nothing%20else.%20%22%0A%20%20%20%20%20%20%20%20%22That%20is%20how%20you%20get%20a%20model%20trained%20on%20billions%20of%20images.%5Cn%5CnWorth%20separating%20%22%0A%20%20%20%20%20%20%20%20%22from%20a%20related%20fact%2C%20though%3A%20text%20prompts.%20Text-to-image%20models%20*do*%20use%20%22%0A%20%20%20%20%20%20%20%20%22captions%2C%20which%20are%20a%20kind%20of%20label%2C%20and%20they%20mostly%20come%20scraped%20off%20the%20web%20%22%0A%20%20%20%20%20%20%20%20%22alongside%20the%20image%20rather%20than%20from%20annotators.%20The%20underlying%20noise-prediction%20%22%0A%20%20%20%20%20%20%20%20%22training%20still%20needs%20nothing%20at%20all.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22e4%22%2C%0A%20%20%20%20)%0A%20%20%20%20e4%0A%20%20%20%20return%20e4%2C%20e4_render%2C%20e4_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(e4%2C%20e4_render)%3A%0A%20%20%20%20e4_render(e4.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%204%3A%20Making%20it%20affordable%2C%20and%20making%20it%20do%20what%20you%20asked%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Two%20problems%20with%20what%20we%20just%20built.%20It%20is%20slow%2C%20and%20it%20does%20whatever%20it%20likes.%0A%0A%20%20%20%20%23%23%23%20Problem%20one%3A%20it%20is%20slow%0A%0A%20%20%20%20Generating%20one%20photo%20means%20cleaning%20up%20static%20fifty%20times%2C%20and%20every%20one%20of%20those%20is%20a%0A%20%20%20%20full%20pass%20through%20a%20large%20network.%20Compare%20that%20to%20flipping%20an%20image%2C%20which%20is%20free.%0A%0A%20%20%20%20Worse%2C%20look%20at%20how%20much%20data%20each%20pass%20has%20to%20chew%20through.%20A%20512%26times%3B512%20colour%0A%20%20%20%20photo%20is%3A%0A%0A%20%20%20%20%24%24512%20%5Ctimes%20512%20%5Ctimes%203%20%3D%20786%7B%2C%7D432%20%5Ctext%7B%20numbers%7D%24%24%0A%0A%20%20%20%20The%20fix%20is%20to%20stop%20working%20on%20photos.%20First%2C%20squash%20the%20photo%20down%20with%20a%20separate%0A%20%20%20%20network%20trained%20to%20compress%20and%20then%20restore%20images.%20A%20typical%20squashed%20version%20is%0A%20%20%20%2064%26times%3B64%20with%204%20channels%3A%0A%0A%20%20%20%20%24%2464%20%5Ctimes%2064%20%5Ctimes%204%20%3D%2016%7B%2C%7D384%20%5Ctext%7B%20numbers%7D%24%24%0A%0A%20%20%20%20%24%24%5Cfrac%7B786%7B%2C%7D432%7D%7B16%7B%2C%7D384%7D%20%3D%2048%5Ctimes%20%5Ctext%7B%20fewer%20numbers%7D%24%24%0A%0A%20%20%20%20Now%20do%20all%20fifty%20cleanup%20passes%20on%20the%20small%20version%2C%20and%20only%20expand%20it%20back%20to%20a%20real%0A%20%20%20%20photo%20once%20at%20the%20very%20end.%20This%20is%20called%20**latent%20diffusion**%2C%20and%20it%20is%20why%20these%0A%20%20%20%20models%20run%20on%20a%20normal%20graphics%20card%20instead%20of%20a%20datacentre.%0A%0A%20%20%20%20One%20caveat%2C%20and%20your%20lecturer%20flagged%20it%20deliberately%3A%20**48%26times%3B%20fewer%20numbers%20is%20not%0A%20%20%20%2048%26times%3B%20faster.**%20Runtime%20depends%20on%20how%20the%20network%20is%20built%2C%20how%20memory%20moves%2C%20how%0A%20%20%20%20many%20cleanup%20steps%20you%20run%20and%20what%20the%20final%20expansion%20costs.%20It%20is%20a%20large%20speed-up.%0A%20%20%20%20It%20is%20not%20that%20number.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20e5%2C%20e5_render%2C%20e5_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Check%205.**%20Working%20on%20the%20squashed%20version%20means%20handling%2048%20times%20fewer%20%22%0A%20%20%20%20%20%20%20%20%22numbers.%20What%20can%20you%20safely%20conclude%20about%20speed%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Generation%20will%20be%20about%2048%20times%20faster%22%3A%20%2248%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22It%20will%20be%20a%20lot%20faster%2C%20but%2048%20is%20a%20ratio%20of%20array%20sizes%20and%20not%20a%20measured%20speed-up%22%3A%20%22unknown%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Nothing%2C%20because%20the%20compression%20itself%20costs%20more%20than%20it%20saves%22%3A%20%22worse%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22unknown%22%2C%0A%20%20%20%20%20%20%20%20%22The%2048%20is%20honest%20arithmetic%20about%20array%20sizes%2C%20and%20array%20size%20is%20only%20one%20of%20the%20%22%0A%20%20%20%20%20%20%20%20%22things%20that%20sets%20runtime.%20Also%20in%20play%3A%20how%20the%20network's%20layers%20scale%20with%20input%20%22%0A%20%20%20%20%20%20%20%20%22size%20(some%20parts%20scale%20much%20worse%20than%20linearly)%2C%20how%20much%20time%20is%20spent%20moving%20%22%0A%20%20%20%20%20%20%20%20%22memory%20rather%20than%20computing%2C%20how%20many%20cleanup%20steps%20your%20sampler%20takes%2C%20and%20the%20%22%0A%20%20%20%20%20%20%20%20%22one-off%20cost%20of%20expanding%20the%20result%20back%20into%20a%20photo.%5Cn%5CnThe%20habit%20this%20is%20%22%0A%20%20%20%20%20%20%20%20%22training%20is%20the%20useful%20bit%2C%20and%20it%20is%20the%20same%20one%20from%20Week%206%20when%20you%20counted%20%22%0A%20%20%20%20%20%20%20%20%22operations%20in%20a%20layer%20and%20found%20they%20didn't%20predict%20the%20runtime%3A%20**a%20count%20of%20%22%0A%20%20%20%20%20%20%20%20%22numbers%20is%20not%20a%20measurement%20of%20time.**%20Quoting%20one%20as%20the%20other%20is%20the%20most%20common%20%22%0A%20%20%20%20%20%20%20%20%22way%20performance%20claims%20go%20wrong%2C%20and%20it%20usually%20isn't%20deliberate.%5Cn%5CnThe%20third%20%22%0A%20%20%20%20%20%20%20%20%22answer%20is%20wrong%20but%20points%20somewhere%20real.%20Compression%20isn't%20free%2C%20which%20is%20%22%0A%20%20%20%20%20%20%20%20%22precisely%20why%20you%20do%20it%20once%20at%20each%20end%20rather%20than%20inside%20the%20loop%20that%20runs%20%22%0A%20%20%20%20%20%20%20%20%22fifty%20times.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22e5%22%2C%0A%20%20%20%20)%0A%20%20%20%20e5%0A%20%20%20%20return%20e5%2C%20e5_render%2C%20e5_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(e5%2C%20e5_render)%3A%0A%20%20%20%20e5_render(e5.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Problem%20two%3A%20it%20does%20whatever%20it%20likes%0A%0A%20%20%20%20What%20we%20have%20built%20so%20far%20makes%20*a*%20plausible%20photo.%20You%20need%20a%20*specific*%20one.%20So%0A%20%20%20%20alongside%20the%20messy%20image%2C%20you%20also%20feed%20the%20network%20a%20description%20of%20what%20you%20want%2C%0A%20%20%20%20and%20it%20learns%20to%20take%20that%20into%20account%20while%20cleaning%20up%3A%0A%0A%20%20%20%20%3E%20%22a%20pedestrian%20crossing%20a%20residential%20driveway%20at%20night%20in%20heavy%20rain%22%0A%0A%20%20%20%20That%20is%20**conditional**%20generation%2C%20and%20it%20is%20most%20of%20what%20you%20do%20with%20these%20models.%0A%0A%20%20%20%20But%20a%20sentence%20is%20a%20loose%20specification%2C%20and%20this%20is%20where%20it%20starts%20to%20matter%20for%20your%0A%20%20%20%20actual%20job.%20You%20asked%20for%20a%20pedestrian.%20You%20will%20reliably%20get%20a%20rainy%20night%20driveway.%0A%20%20%20%20You%20might%20get%20a%20pedestrian%20on%20the%20wrong%20side%20of%20the%20frame.%20Facing%20away.%20Standing%20where%0A%20%20%20%20a%20car%20should%20be.%20Or%20no%20pedestrian%20at%20all%2C%20because%20the%20model%20decided%20the%20scene%20looked%0A%20%20%20%20complete%20without%20one.%0A%0A%20%20%20%20For%20a%20detection%20model%2C%20where%20the%20person%20*is*%20in%20the%20frame%20is%20the%20entire%20point.%20A%0A%20%20%20%20sentence%20cannot%20pin%20that%20down.%0A%0A%20%20%20%20So%20you%20give%20it%20the%20geometry%20directly%2C%20alongside%20the%20words%3A%20a%20stick-figure%20skeleton%20in%0A%20%20%20%20the%20pose%20you%20want%2C%20an%20outline%20sketch%2C%20or%20a%20depth%20map%20saying%20what%20is%20near%20and%20far.%20The%0A%20%20%20%20best-known%20way%20of%20bolting%20this%20onto%20an%20existing%20generator%20is%20called%20**ControlNet**.%0A%0A%20%20%20%20Which%20helps%20a%20great%20deal%20and%20still%20does%20not%20finish%20the%20job%2C%20and%20that%20brings%20us%20to%20the%0A%20%20%20%20part%20everyone%20underestimates.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%205%3A%20A%20convincing%20photo%20is%20not%20a%20training%20example%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Here%20is%20the%20thing%20to%20take%20away%20from%20this%20whole%20lab.%0A%0A%20%20%20%20You%20generate%20a%20rainy-night%20driveway%20with%20a%20pedestrian%20in%20it.%20It%20looks%20great.%20You%20could%0A%20%20%20%20not%20tell%20it%20from%20a%20real%20photo.%0A%0A%20%20%20%20**It%20is%20still%20not%20training%20data.**%20To%20train%20a%20detector%20you%20need%20to%20know%20exactly%20where%0A%20%20%20%20the%20person%20is%2C%20as%20a%20box%20or%20an%20outline.%20And%20you%20don't.%20You%20asked%20for%20a%20person%3B%20you%20did%0A%20%20%20%20not%20receive%20a%20receipt%20confirming%20one%20is%20present%2C%20let%20alone%20its%20coordinates.%0A%0A%20%20%20%20You%20cannot%20reuse%20the%20pose%20skeleton%20you%20fed%20in%2C%20either%2C%20which%20is%20the%20trap%20that%20catches%0A%20%20%20%20people.%20The%20generated%20person%20will%20not%20line%20up%20with%20it%20exactly%20%26mdash%3B%20a%20coat%20changes%0A%20%20%20%20the%20silhouette%2C%20an%20umbrella%20hides%20a%20shoulder%2C%20the%20model%20nudges%20a%20leg.%20Use%20the%20skeleton's%0A%20%20%20%20box%20and%20you%20have%20a%20box%20that%20is%20slightly%20wrong%20on%20every%20single%20example%2C%20and%20a%20detector%0A%20%20%20%20trained%20on%20thousands%20of%20slightly%20wrong%20boxes%20learns%20to%20put%20its%20boxes%20slightly%20wrong.%0A%0A%20%20%20%20That%20failure%20is%20nastier%20than%20a%20visibly%20broken%20image%2C%20because%20broken%20images%20get%20noticed.%0A%20%20%20%20This%20one%20looks%20perfect%20all%20the%20way%20to%20production.%0A%0A%20%20%20%20So%20every%20generated%20candidate%20has%20to%20be%20checked%2C%20by%20another%20model%20or%20by%20a%20person%3A%0A%0A%20%20%20%201.%20Is%20the%20thing%20I%20asked%20for%20actually%20in%20the%20picture%3F%0A%20%20%20%202.%20Where%20is%20it%2C%20precisely%3F%0A%20%20%20%203.%20Is%20the%20scene%20usable%2C%20or%20did%20it%20come%20out%20mangled%3F%0A%0A%20%20%20%20Some%20fail.%20The%20share%20that%20survive%20is%20your%20**acceptance%20rate**%2C%20and%20it%20is%20the%20number%0A%20%20%20%20that%20decides%20whether%20any%20of%20this%20was%20affordable.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20saved)%3A%0A%20%20%20%20need_valid%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201000%2C%2020000%2C%20value%3Dsaved.get(%22need_valid%22%2C%206000)%2C%20step%3D500%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22Usable%20photos%20you%20need%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20accept_pct%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%205%2C%20100%2C%20value%3Dsaved.get(%22accept_pct%22%2C%2060)%2C%20step%3D5%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22Of%20what%20you%20generate%2C%20how%20much%20passes%20checking%2C%20%25%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20gen_secs%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201%2C%2040%2C%20value%3Dsaved.get(%22gen_secs%22%2C%208)%2C%20step%3D1%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22GPU%20seconds%20to%20generate%20one%20candidate%20(%C3%97%200.1)%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20val_secs%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%205%2C%20300%2C%20value%3Dsaved.get(%22val_secs%22%2C%2050)%2C%20step%3D5%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22Seconds%20of%20human%20time%20to%20check%20one%20candidate%20(%C3%97%200.1)%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bneed_valid%2C%20accept_pct%2C%20gen_secs%2C%20val_secs%5D)%0A%20%20%20%20return%20accept_pct%2C%20gen_secs%2C%20need_valid%2C%20val_secs%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(accept_pct%2C%20gen_secs%2C%20need_valid%2C%20val_secs)%3A%0A%20%20%20%20%23%20Costs%20are%20illustrative.%20What%20they%20are%20for%20is%20showing%20which%20term%20grows%20fastest%0A%20%20%20%20%23%20as%20the%20acceptance%20rate%20falls%2C%20which%20is%20the%20thing%20people%20misjudge.%0A%20%20%20%20GPU_POUNDS_PER_HOUR%20%3D%202.50%0A%20%20%20%20HUMAN_POUNDS_PER_HOUR%20%3D%2018.00%0A%20%20%20%20REAL_PHOTO_POUNDS%20%3D%201.50%20%20%20%20%20%20%23%20what%20an%20annotator%20charges%20to%20label%20one%20real%20frame%0A%0A%20%20%20%20accept%20%3D%20accept_pct.value%20%2F%20100.0%0A%20%20%20%20n_generated%20%3D%20need_valid.value%20%2F%20accept%0A%20%20%20%20t_gen_h%20%3D%20n_generated%20*%20(gen_secs.value%20%2F%2010.0)%20%2F%203600.0%0A%20%20%20%20t_val_h%20%3D%20n_generated%20*%20(val_secs.value%20%2F%2010.0)%20%2F%203600.0%0A%20%20%20%20t_total_h%20%3D%20t_gen_h%20%2B%20t_val_h%0A%20%20%20%20wasted%20%3D%20n_generated%20-%20need_valid.value%0A%0A%20%20%20%20%23%20Generating%20is%20GPU%20time%3B%20checking%20is%20a%20person%20looking%20at%20every%20candidate%2C%0A%20%20%20%20%23%20which%20is%20why%20the%20two%20halves%20are%20priced%20differently.%0A%20%20%20%20cost_synth%20%3D%20t_gen_h%20*%20GPU_POUNDS_PER_HOUR%20%2B%20t_val_h%20*%20HUMAN_POUNDS_PER_HOUR%0A%20%20%20%20cost_real%20%3D%20need_valid.value%20*%20REAL_PHOTO_POUNDS%0A%20%20%20%20per_usable_synth%20%3D%20cost_synth%20%2F%20need_valid.value%0A%20%20%20%20cheaper_by%20%3D%20cost_real%20%2F%20cost_synth%20if%20cost_synth%20%3E%200%20else%200.0%0A%20%20%20%20screening_dominates%20%3D%20t_val_h%20%3E%20t_gen_h%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20REAL_PHOTO_POUNDS%2C%0A%20%20%20%20%20%20%20%20accept%2C%0A%20%20%20%20%20%20%20%20cheaper_by%2C%0A%20%20%20%20%20%20%20%20cost_real%2C%0A%20%20%20%20%20%20%20%20cost_synth%2C%0A%20%20%20%20%20%20%20%20n_generated%2C%0A%20%20%20%20%20%20%20%20per_usable_synth%2C%0A%20%20%20%20%20%20%20%20screening_dominates%2C%0A%20%20%20%20%20%20%20%20t_gen_h%2C%0A%20%20%20%20%20%20%20%20t_total_h%2C%0A%20%20%20%20%20%20%20%20t_val_h%2C%0A%20%20%20%20%20%20%20%20wasted%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20LAB_CSS%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20n_generated%2C%0A%20%20%20%20need_valid%2C%0A%20%20%20%20per_usable_synth%2C%0A%20%20%20%20t_total_h%2C%0A%20%20%20%20wasted%2C%0A)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-grid%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EYou%20must%20generate%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bn_generated%3A%2C.0f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Eto%20end%20up%20with%20%7Bneed_valid.value%3A%2C%7D%20usable%20ones%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-stat%20red%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EThrown%20away%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bwasted%3A%2C.0f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Egenerated%2C%20checked%2C%20and%20binned%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EHours%20of%20work%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bt_total_h%3A%2C.1f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3EGPU%20time%20plus%20somebody's%20afternoon%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3ECost%20per%20usable%20photo%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%26pound%3B%7Bper_usable_synth%3A%2C.2f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Ethe%20number%20that%20actually%20matters%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo%2C%20t_gen_h%2C%20t_total_h%2C%20t_val_h)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20_span%20%3D%20max(t_total_h%2C%200.001)%0A%20%20%20%20_g%20%3D%20100.0%20*%20t_gen_h%20%2F%20_span%0A%20%20%20%20_v%20%3D%20100.0%20*%20t_val_h%20%2F%20_span%0A%0A%20%20%20%20def%20_seg(cls%2C%20w%2C%20text)%3A%0A%20%20%20%20%20%20%20%20return%20%22%22%20if%20w%20%3C%201%20else%20(f'%3Cspan%20class%3D%22%7Bcls%7D%22%20style%3D%22width%3A%7Bw%7D%25%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%7Btext%20if%20w%20%3E%2022%20else%20%22%22%7D%3C%2Fspan%3E')%0A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-mix%22%3E%0A%20%20%20%20%20%20%20%20%20%20%7B_seg(%22sig%22%2C%20_g%2C%20f%22generating%20%26middot%3B%20%7Bt_gen_h%3A%2C.1f%7D%20GPU-hrs%22)%7D%0A%20%20%20%20%20%20%20%20%20%20%7B_seg(%22b%22%2C%20_v%2C%20f%22checking%20%26middot%3B%20%7Bt_val_h%3A%2C.1f%7D%20human-hrs%22)%7D%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20REAL_PHOTO_POUNDS%2C%0A%20%20%20%20accept%2C%0A%20%20%20%20cheaper_by%2C%0A%20%20%20%20cost_real%2C%0A%20%20%20%20cost_synth%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20n_generated%2C%0A%20%20%20%20need_valid%2C%0A%20%20%20%20per_usable_synth%2C%0A%20%20%20%20screening_dominates%2C%0A%20%20%20%20t_gen_h%2C%0A%20%20%20%20t_val_h%2C%0A%20%20%20%20wasted%2C%0A)%3A%0A%20%20%20%20_accept_note%20%3D%20(%0A%20%20%20%20%20%20%20%20f%22Start%20with%20the%20acceptance%20rate.%20At%20**%7Baccept%20*%20100%3A.0f%7D%25**%20you%20have%20to%20generate%20%22%0A%20%20%20%20%20%20%20%20f%22**%7Bn_generated%3A%2C.0f%7D**%20candidates%20to%20end%20up%20with%20%7Bneed_valid.value%3A%2C%7D%2C%20so%20%22%0A%20%20%20%20%20%20%20%20f%22**%7Bwasted%3A%2C.0f%7D**%20get%20made%2C%20inspected%20and%20binned.%20You%20pay%20in%20full%20for%20every%20one%20%22%0A%20%20%20%20%20%20%20%20%22of%20those.%20Drag%20it%20down%20to%2020%25%2C%20which%20is%20an%20ordinary%20number%20for%20a%20fussy%20prompt%2C%20and%20%22%0A%20%20%20%20%20%20%20%20%22watch%20what%20happens.%22%0A%20%20%20%20)%0A%20%20%20%20_screen_note%20%3D%20(%0A%20%20%20%20%20%20%20%20f%22%5Cn%5CnNow%20look%20at%20where%20the%20hours%20went.%20Checking%20took%20**%7Bt_val_h%3A%2C.1f%7D**%20hours%20of%20%22%0A%20%20%20%20%20%20%20%20f%22somebody's%20attention%20against%20**%7Bt_gen_h%3A%2C.1f%7D**%20of%20GPU%20time.%20**The%20expensive%20part%20%22%0A%20%20%20%20%20%20%20%20%22of%20making%20fake%20data%20is%20not%20making%20it.**%20The%20generator%20is%20a%20few%20pence%20an%20hour%3B%20the%20%22%0A%20%20%20%20%20%20%20%20%22person%20confirming%20there%20is%20really%20a%20pedestrian%20in%20frame%2C%20and%20where%2C%20is%20not.%22%0A%20%20%20%20%20%20%20%20if%20screening_dominates%20else%0A%20%20%20%20%20%20%20%20f%22%5Cn%5CnRight%20now%20generating%20(%7Bt_gen_h%3A%2C.1f%7D%20h%20of%20GPU)%20outweighs%20checking%20%22%0A%20%20%20%20%20%20%20%20f%22(%7Bt_val_h%3A%2C.1f%7D%20h%20of%20human%20time).%20Push%20the%20checking%20slider%20up.%20Confirming%20a%20%22%0A%20%20%20%20%20%20%20%20%22bounding%20box%20properly%20takes%20a%20person%20five%20to%20thirty%20seconds%2C%20and%20that%20is%20the%20%22%0A%20%20%20%20%20%20%20%20%22number%20that%20usually%20decides%20whether%20this%20was%20affordable.%22%0A%20%20%20%20)%0A%20%20%20%20_vs%20%3D%20(%0A%20%20%20%20%20%20%20%20f%22%5Cn%5Cn**Against%20the%20real%20thing.**%20Your%20generated%20photos%20work%20out%20at%20%22%0A%20%20%20%20%20%20%20%20f%22**%C2%A3%7Bper_usable_synth%3A%2C.2f%7D**%20each%2C%20all%20in.%20Paying%20an%20annotator%20to%20label%20a%20real%20%22%0A%20%20%20%20%20%20%20%20f%22collected%20frame%20is%20about%20%C2%A3%7BREAL_PHOTO_POUNDS%3A.2f%7D%20%26mdash%3B%20so%20%22%0A%20%20%20%20%20%20%20%20f%22%C2%A3%7Bcost_synth%3A%2C.0f%7D%20versus%20%C2%A3%7Bcost_real%3A%2C.0f%7D%20for%20the%20%7Bneed_valid.value%3A%2C%7D%20you%20%22%0A%20%20%20%20%20%20%20%20f%22need%2C%20roughly%20**%7Bcheaper_by%3A%2C.0f%7D%26times%3B%20cheaper**.%22%0A%20%20%20%20%20%20%20%20%22%5Cn%5CnWhich%20is%20a%20real%20advantage%20and%20is%20also%20why%20the%20argument%20never%20ends%20on%20price.%20%22%0A%20%20%20%20%20%20%20%20%22Generated%20photos%20are%20cheap%20and%20*might%20not%20work*%3B%20real%20photos%20are%20dear%20and%20%22%0A%20%20%20%20%20%20%20%20%22definitely%20do.%20And%20the%20%C2%A31.50%20only%20buys%20the%20labelling%20%26mdash%3B%20it%20assumes%20somebody%20%22%0A%20%20%20%20%20%20%20%20%22already%20captured%206%2C000%20rainy%20nights%2C%20which%20is%20the%20bit%20you%20actually%20can't%20buy.%22%0A%20%20%20%20)%0A%20%20%20%20mo.callout(mo.md(_accept_note%20%2B%20_screen_note%20%2B%20_vs)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Be%20honest%3A%20where%20do%20these%20numbers%20come%20from%3F%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20The%20generation%20speed%20and%20acceptance%20rate%20are%20plausible%2C%20not%20measured.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Real%20diffusion%20throughput%20swings%20wildly%20with%20the%20hardware%2C%20the%20resolution%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20the%20model%20and%20how%20many%20cleanup%20steps%20the%20sampler%20takes%2C%20and%20acceptance%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rates%20depend%20enormously%20on%20how%20fussy%20your%20prompt%20is%20and%20how%20strict%20your%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20checking%20is.%20The%20%C2%A32.50%20per%20GPU-hour%20and%20%C2%A312%20per%20labelled%20photo%20are%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20round%20numbers%20for%20the%20shape%20of%20the%20argument.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Things%20the%20calculator%20still%20leaves%20out%3A%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20-%20**Storage%20and%20moving%20data.**%20Tens%20of%20thousands%20of%20generated%20images%20have%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20to%20live%20somewhere%20and%20be%20shipped%20to%20the%20training%20job.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20-%20**Retries.**%20A%20prompt%20that%20accepts%20at%2020%25%20usually%20gets%20rewritten%20a%20few%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20times%20first%2C%20and%20each%20attempt%20costs%20a%20batch.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20-%20**Your%20time.**%20Building%20the%20checking%20pipeline%20is%20days%20of%20work%20before%20it%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20is%20any%20GPU-hours%20at%20all.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20-%20**The%20generator's%20own%20training.**%20You%20are%20using%20a%20pretrained%20model%2C%20so%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20someone%20else%20paid%20for%20that%2C%20and%20it%20was%20enormous.%20It%20is%20fair%20to%20exclude%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20from%20your%20project's%20budget%20and%20worth%20knowing%20it%20exists.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20e6%2C%20e6_render%2C%20e6_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Check%206.**%20You%20generate%20a%20rainy-night%20scene%20using%20a%20pose%20skeleton%2C%20and%20the%20image%20%22%0A%20%20%20%20%20%20%20%20%22is%20convincing.%20Why%20can't%20you%20just%20reuse%20that%20skeleton's%20bounding%20box%20as%20the%20label%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22You%20can.%20The%20skeleton%20is%20exactly%20what%20the%20model%20was%20told%20to%20draw%22%3A%20%22reuse%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20generated%20person%20won't%20line%20up%20with%20the%20skeleton%20exactly%2C%20so%20every%20box%20is%20slightly%20wrong%22%3A%20%22drift%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Bounding%20boxes%20cannot%20be%20computed%20from%20skeletons%20at%20all%22%3A%20%22cannot%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22drift%22%2C%0A%20%20%20%20%20%20%20%20%22The%20skeleton%20is%20a%20request%2C%20not%20a%20guarantee.%20The%20model%20drapes%20a%20coat%20on%20the%20figure%2C%20%22%0A%20%20%20%20%20%20%20%20%22hands%20it%20an%20umbrella%2C%20shifts%20a%20leg%20to%20make%20the%20pose%20look%20natural.%20The%20result%20is%20a%20%22%0A%20%20%20%20%20%20%20%20%22plausible%20person%20near%20where%20you%20asked%2C%20with%20a%20silhouette%20that%20is%20not%20the%20one%20you%20%22%0A%20%20%20%20%20%20%20%20%22specified.%5Cn%5CnNow%20think%20about%20what%20that%20does%20in%20bulk.%20Every%20box%20is%20wrong%20by%20a%20%22%0A%20%20%20%20%20%20%20%20%22little%2C%20and%20mostly%20wrong%20in%20the%20*same%20direction*%2C%20since%20the%20model%20has%20consistent%20%22%0A%20%20%20%20%20%20%20%20%22habits.%20Train%20on%20thousands%20of%20those%20and%20the%20detector%20doesn't%20learn%20to%20be%20vague%2C%20it%20%22%0A%20%20%20%20%20%20%20%20%22learns%20your%20generator's%20specific%20bias%20and%20applies%20it%20to%20real%20photos.%5Cn%5CnAnd%20this%20%22%0A%20%20%20%20%20%20%20%20%22failure%20is%20quiet.%20A%20mangled%20image%20gets%20spotted%20the%20moment%20somebody%20scrolls%20through%20%22%0A%20%20%20%20%20%20%20%20%22the%20folder.%20A%20beautiful%20image%20with%20a%20box%20eight%20pixels%20off%20looks%20fine%2C%20passes%20%22%0A%20%20%20%20%20%20%20%20%22review%2C%20and%20degrades%20the%20model%20anyway.%20**The%20thing%20that%20needs%20checking%20is%20the%20%22%0A%20%20%20%20%20%20%20%20%22label%2C%20not%20the%20picture.**%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22e6%22%2C%0A%20%20%20%20)%0A%20%20%20%20e6%0A%20%20%20%20return%20e6%2C%20e6_render%2C%20e6_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(e6%2C%20e6_render)%3A%0A%20%20%20%20e6_render(e6.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20The%20gap%20between%20made-up%20and%20real%0A%0A%20%20%20%20One%20more%20way%20this%20goes%20wrong%2C%20and%20it%20is%20the%20one%20that%20survives%20all%20your%20checking.%0A%0A%20%20%20%20Your%20generated%20photos%20can%20be%20individually%20perfect%20and%20still%2C%20taken%20together%2C%20not%20look%0A%20%20%20%20like%20the%20world.%20Real%20doorbell%20footage%20has%20motion%20blur%20when%20someone%20walks%20quickly%2C%20JPEG%0A%20%20%20%20compression%20blocks%2C%20a%20slightly%20dirty%20lens%2C%20a%20sensor%20that%20goes%20grainy%20in%20low%20light%2C%20and%0A%20%20%20%20rain%20that%20behaves%20like%20actual%20water.%20Generated%20photos%20have%20the%20generator's%20habits%0A%20%20%20%20instead%3A%20a%20certain%20style%20it%20favours%2C%20textures%20it%20repeats%2C%20reflections%20that%20look%20right%0A%20%20%20%20but%20obey%20no%20particular%20physics.%0A%0A%20%20%20%20So%20a%20model%20can%20get%20very%20good%20at%20your%20fake%20rainy%20nights%20and%20stay%20bad%20at%20real%20ones.%20This%0A%20%20%20%20is%20the%20**domain%20gap**%2C%20and%20the%20dangerous%20part%20is%20that%20your%20metrics%20will%20look%20wonderful%0A%20%20%20%20while%20it%20happens%2C%20because%20you%20are%20measuring%20on%20the%20same%20fake%20photos%20you%20trained%20on.%0A%0A%20%20%20%20There%20is%20one%20rule%20that%20saves%20you%2C%20and%20it%20is%20not%20optional%3A%0A%0A%20%20%20%20%3E%20**Measure%20on%20real%2C%20held-out%20photos.%20Always.%20However%20few%20you%20have.**%0A%0A%20%20%20%20Those%20100%20real%20rainy-night%20frames%20you%20started%20with%3F%20Do%20not%20train%20on%20all%20of%20them.%20Hold%0A%20%20%20%20some%20back%2C%20and%20let%20those%20be%20the%20judge.%20A%20hundred%20real%20test%20photos%20tell%20you%20more%20than%0A%20%20%20%20ten%20thousand%20fake%20ones.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20e7%2C%20e7_render%2C%20e7_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Check%207.**%20You%20add%206%2C000%20generated%20rainy-night%20photos.%20Accuracy%20on%20a%20held-out%20%22%0A%20%20%20%20%20%20%20%20%22slice%20of%20generated%20photos%20goes%20from%2061%25%20to%2094%25.%20What%20have%20you%20learned%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20synthetic%20data%20worked%3B%20rainy-night%20performance%20improved%20by%2033%20points%22%3A%20%22works%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Almost%20nothing%20about%20the%20real%20problem%2C%20because%20both%20sets%20came%20from%20the%20same%20generator%22%3A%20%22nothing%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20model%20is%20overfitting%20and%20you%20should%20add%20more%20generated%20photos%22%3A%20%22more%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22nothing%22%2C%0A%20%20%20%20%20%20%20%20%22You%20have%20shown%20the%20model%20can%20handle%20your%20generator's%20output.%20Which%20it%20should%2C%20%22%0A%20%20%20%20%20%20%20%20%22since%20the%20training%20and%20test%20photos%20share%20a%20maker%2C%20a%20style%20and%20the%20same%20habits.%20%22%0A%20%20%20%20%20%20%20%20%22That%20is%20closer%20to%20a%20memory%20test%20than%20an%20evaluation.%5Cn%5CnThe%20real%20question%20is%20what%20%22%0A%20%20%20%20%20%20%20%20%22happens%20on%20actual%20footage%20from%20actual%20doorbells%20on%20actual%20rainy%20nights%2C%20and%20the%20%22%0A%20%20%20%20%20%20%20%20%22only%20thing%20that%20answers%20it%20is%20actual%20footage.%20Even%20a%20small%20amount.%20Hold%20back%2030%20of%20%22%0A%20%20%20%20%20%20%20%20%22your%20100%20real%20frames%20and%20measure%20on%20those%3B%20a%2030-photo%20real%20test%20set%20is%20crude%20and%20%22%0A%20%20%20%20%20%20%20%20%22noisy%20and%20still%20worth%20more%20than%206%2C000%20fake%20ones%2C%20because%20it%20is%20the%20only%20one%20%22%0A%20%20%20%20%20%20%20%20%22measuring%20the%20thing%20you%20are%20being%20paid%20to%20fix.%5Cn%5CnThis%20is%20the%20Week%204%20lesson%20once%20%22%0A%20%20%20%20%20%20%20%20%22more%2C%20in%20a%20new%20costume%3A%20**the%20number%20went%20up**%20and%20**the%20system%20got%20better**%20are%20%22%0A%20%20%20%20%20%20%20%20%22two%20separate%20claims%2C%20and%20only%20one%20of%20them%20is%20about%20your%20users.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22e7%22%2C%0A%20%20%20%20)%0A%20%20%20%20e7%0A%20%20%20%20return%20e7%2C%20e7_render%2C%20e7_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(e7%2C%20e7_render)%3A%0A%20%20%20%20e7_render(e7.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20How%20to%20test%20this%20fairly%0A%0A%20%20%20%20Which%20means%20the%20experiment%20has%20to%20be%20set%20up%20so%20the%20answer%20means%20something.%20Four%20runs%2C%0A%20%20%20%20everything%20else%20held%20fixed%3A%0A%0A%20%20%20%20%7C%20Run%20%7C%20What%20you%20train%20on%20%7C%20What%20it%20tells%20you%20%7C%0A%20%20%20%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%0A%20%20%20%20%7C%20**A**%20%7C%20Real%20photos%20only%20%7C%20The%20baseline.%20Without%20this%20nothing%20else%20has%20meaning%20%7C%0A%20%20%20%20%7C%20**B**%20%7C%20Real%20%2B%20cheap%20augmentation%20%7C%20Could%20you%20have%20got%20away%20with%20Part%202%20and%20gone%20home%3F%20%7C%0A%20%20%20%20%7C%20**C**%20%7C%20Real%20%2B%20generated%20%7C%20Does%20generation%20add%20anything%20augmentation%20couldn't%3F%20%7C%0A%20%20%20%20%7C%20**D**%20%7C%20Real%20%2B%20both%20%7C%20Do%20they%20stack%2C%20or%20overlap%3F%20%7C%0A%0A%20%20%20%20Run%20**B**%20is%20the%20one%20people%20leave%20out%2C%20and%20leaving%20it%20out%20is%20how%20a%20team%20spends%20three%0A%20%20%20%20weeks%20on%20a%20diffusion%20pipeline%20to%20get%20an%20improvement%20that%20brightness%20jitter%20would%20have%0A%20%20%20%20given%20them%20in%20an%20afternoon.%0A%0A%20%20%20%20Keep%20the%20model%2C%20the%20test%20set%2C%20the%20seeds%20and%20the%20training%20budget%20identical%20across%20all%0A%20%20%20%20four.%20Report%20rainy-night%20recall%20specifically%2C%20not%20overall%20accuracy.%20And%20measure%20all%20of%0A%20%20%20%20it%20on%20real%20held-out%20photos.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%206%3A%20Why%20your%20GPU%20is%20idle%20anyway%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Change%20of%20subject%2C%20and%20it%20is%20the%20part%20of%20this%20lab%20most%20likely%20to%20be%20worth%20money%20to%20you%0A%20%20%20%20directly.%0A%0A%20%20%20%20Everything%20so%20far%20has%20been%20about%20*which*%20examples%20to%20train%20on.%20None%20of%20it%20matters%20if%0A%20%20%20%20your%20expensive%20GPU%20is%20sitting%20there%20doing%20nothing%2C%20and%20it%20very%20often%20is.%0A%0A%20%20%20%20Training%20is%20a%20production%20line.%20Photos%20are%20read%20off%20disk%2C%20decoded%20from%20JPEG%2C%20augmented%2C%0A%20%20%20%20batched%2C%20then%20handed%20to%20the%20GPU.%20Four%20stages%2C%20and%20like%20any%20production%20line%2C%20**it%20runs%20at%0A%20%20%20%20the%20speed%20of%20the%20slowest%20stage.**%20A%20GPU%20that%20can%20chew%20through%20800%20images%20a%20second%20fed%20by%0A%20%20%20%20a%20pipeline%20that%20delivers%20300%20runs%20at%20300%2C%20and%20spends%20the%20rest%20of%20its%20life%20waiting.%0A%0A%20%20%20%20%24%24%5Ctext%7Bactual%20speed%7D%20%3D%20%5Cmin(%5Ctext%7Bhow%20fast%20data%20arrives%7D%2C%5C%3B%20%5Ctext%7Bhow%20fast%20the%20GPU%20works%7D)%24%24%0A%0A%20%20%20%20There%20is%20a%20cheap%20trick%20for%20this%2C%20called%20**echoing**%3A%20when%20an%20image%20has%20been%20read%20and%0A%20%20%20%20decoded%2C%20don't%20use%20it%20once%20and%20throw%20it%20away.%20Use%20it%20a%20few%20times%2C%20applying%20different%0A%20%20%20%20random%20augmentation%20to%20each%20copy%2C%20so%20you%20get%20several%20different%20training%20views%20for%20one%0A%20%20%20%20expensive%20read.%0A%0A%20%20%20%20Have%20a%20play.%20Watch%20all%20three%20numbers%2C%20especially%20the%20third.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20saved)%3A%0A%20%20%20%20r_input%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%2050%2C%201200%2C%20value%3Dsaved.get(%22r_input%22%2C%20300)%2C%20step%3D50%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22Images%20per%20second%20your%20pipeline%20can%20read%20and%20decode%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20r_gpu%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20200%2C%201600%2C%20value%3Dsaved.get(%22r_gpu%22%2C%20800)%2C%20step%3D100%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22Images%20per%20second%20your%20GPU%20can%20train%20on%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20echo%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201%2C%206%2C%20value%3Dsaved.get(%22echo%22%2C%201)%2C%20step%3D1%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22Echo%3A%20times%20each%20decoded%20image%20is%20reused%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Br_input%2C%20r_gpu%2C%20echo%5D)%0A%20%20%20%20return%20echo%2C%20r_gpu%2C%20r_input%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(echo%2C%20r_gpu%2C%20r_input)%3A%0A%20%20%20%20views_available%20%3D%20r_input.value%20*%20echo.value%0A%20%20%20%20r_effective%20%3D%20min(views_available%2C%20r_gpu.value)%0A%20%20%20%20gpu_busy%20%3D%20100.0%20*%20r_effective%20%2F%20r_gpu.value%0A%20%20%20%20%23%20The%20point%20of%20the%20whole%20section%3A%20echoing%20multiplies%20views%2C%20never%20unique%20images.%0A%20%20%20%20unique_rate%20%3D%20min(r_input.value%2C%20r_gpu.value%20%2F%20echo.value)%20if%20echo.value%20else%200%0A%20%20%20%20input_bound%20%3D%20views_available%20%3C%20r_gpu.value%0A%20%20%20%20return%20gpu_busy%2C%20input_bound%2C%20r_effective%2C%20unique_rate%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20gpu_busy%2C%20input_bound%2C%20mo%2C%20r_effective%2C%20unique_rate)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-grid%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3ETraining%20views%20per%20second%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Br_effective%3A%2C.0f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Ewhat%20the%20GPU%20actually%20receives%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-stat%20%7B'red'%20if%20gpu_busy%20%3C%2070%20else%20'green'%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EGPU%20busy%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bgpu_busy%3A%2C.0f%7D%25%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Ethe%20rest%20is%20it%20waiting%20for%20data%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EBottleneck%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B'Reading'%20if%20input_bound%20else%20'GPU'%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3E%7B'the%20GPU%20is%20starved'%20if%20input_bound%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20'the%20GPU%20is%20the%20limit%2C%20as%20it%20should%20be'%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-stat%20gold%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EDifferent%20photos%20per%20second%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bunique_rate%3A%2C.0f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Enew%20information%2C%20not%20repeats%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20echo%2C%0A%20%20%20%20gpu_busy%2C%0A%20%20%20%20input_bound%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20r_effective%2C%0A%20%20%20%20r_gpu%2C%0A%20%20%20%20r_input%2C%0A%20%20%20%20unique_rate%2C%0A)%3A%0A%20%20%20%20_head%20%3D%20(%0A%20%20%20%20%20%20%20%20f%22Reading%20at%20**%7Br_input.value%3A%2C%7D%2Fs**%2C%20GPU%20capable%20of%20**%7Br_gpu.value%3A%2C%7D%2Fs**%2C%20each%20%22%0A%20%20%20%20%20%20%20%20f%22image%20reused%20**%7Becho.value%7D%26times%3B**.%20The%20GPU%20gets%20**%7Br_effective%3A%2C.0f%7D**%20views%20%22%0A%20%20%20%20%20%20%20%20f%22per%20second%20and%20is%20busy%20**%7Bgpu_busy%3A.0f%7D%25**%20of%20the%20time.%22%0A%20%20%20%20)%0A%20%20%20%20if%20echo.value%20%3D%3D%201%20and%20input_bound%3A%0A%20%20%20%20%20%20%20%20_body%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%5Cn%5CnSo%20**%7B100%20-%20gpu_busy%3A.0f%7D%25**%20of%20your%20GPU%20rental%20is%20being%20spent%20waiting%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22for%20JPEGs%20to%20decode.%20Buying%20a%20GPU%20twice%20as%20fast%20would%20change%20nothing%20at%20all%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%26mdash%3B%20it%20would%20wait%20twice%20as%20efficiently.%5Cn%5CnNow%20push%20the%20echo%20slider%20up.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20input_bound%3A%0A%20%20%20%20%20%20%20%20_body%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%5Cn%5CnEchoing%20has%20lifted%20the%20GPU%20from%20starving%20to%20**%7Bgpu_busy%3A.0f%7D%25**%20busy%2C%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22the%20reading%20stage%20never%20got%20any%20faster.%20You%20are%20getting%20more%20work%20out%20of%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22hardware%20you%20were%20already%20paying%20for.%20Keep%20going%20until%20it%20stops%20helping.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_body%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%5Cn%5CnThe%20GPU%20is%20now%20the%20bottleneck%2C%20which%20is%20where%20you%20want%20it%3A%20you%20are%20paying%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22for%20compute%20and%20using%20all%20of%20it.%5Cn%5Cn**But%20look%20at%20the%20last%20number.**%20Different%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22photos%20per%20second%3A%20**%7Bunique_rate%3A%2C.0f%7D**.%20Push%20echo%20higher%20and%20it%20does%20not%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22improve.%20It%20gets%20*worse*%2C%20because%20the%20GPU's%20fixed%20capacity%20is%20being%20spent%20on%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22repeats%20instead%20of%20new%20material.%5Cn%5CnThat%20is%20the%20catch%2C%20and%20it%20is%20the%20reason%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22this%20question%20is%20worth%20asking%20carefully.%20Echoing%20buys%20you%20**utilisation**%2C%20not%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**learning**.%20The%20fifth%20copy%20of%20an%20image%20teaches%20far%20less%20than%20a%20fifth%20image%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22would.%20A%20pipeline%20at%20100%25%20busy%20can%20still%20reach%20a%20target%20accuracy%20more%20slowly%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22than%20one%20at%2060%25%2C%20if%20what%20it%20is%20busy%20with%20is%20the%20same%20photo%20over%20and%20over.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20mo.callout(mo.md(_head%20%2B%20_body)%2C%20kind%3D%22success%22%20if%20gpu_busy%20%3E%3D%2070%20else%20%22warn%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Deleting%2075%25%20of%20your%20data%20and%20making%20training%20slower%0A%0A%20%20%20%20Now%20the%20promised%20plot%20twist%2C%20and%20it%20is%20a%20real%20effect%20that%20catches%20good%20engineers.%0A%0A%20%20%20%20You%20take%20Week%207's%20advice.%20You%20prune%20a%20million%20photos%20down%20to%20250%2C000%2C%20and%20you%20measure%0A%20%20%20%20both%20runs%20over%20ten%20passes%20through%20the%20data.%0A%0A%20%20%20%20%7C%20%7C%20All%20the%20data%20%7C%20The%20pruned%20quarter%20%7C%0A%20%20%20%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%0A%20%20%20%20%7C%20Photos%20per%20pass%20%7C%201%2C000%2C000%20%7C%20250%2C000%20%7C%0A%20%20%20%20%7C%20Speed%20it%20actually%20sustains%20%7C%201%2C000%2Fs%20%7C%20**200%2Fs**%20%7C%0A%20%20%20%20%7C%20Time%20per%20pass%20%7C%201%2C000s%20%7C%201%2C250s%20%7C%0A%20%20%20%20%7C%20**Ten%20passes**%20%7C%20**10%2C000s**%20%7C%20**12%2C500s**%20%7C%0A%0A%20%20%20%20Three%20quarters%20less%20data.%20Twenty-five%20per%20cent%20**more**%20time.%0A%0A%20%20%20%20The%20culprit%20is%20that%20middle%20row.%20Your%20original%20photos%20sat%20on%20disk%20in%20big%20sequential%0A%20%20%20%20files%2C%20and%20reading%20those%20is%20what%20disks%20and%20networks%20are%20good%20at%3A%20ask%20for%20a%20chunk%2C%20get%20a%0A%20%20%20%20chunk.%20Your%20pruned%20subset%20is%20250%2C000%20photos%20scattered%20all%20through%20those%20files.%20Now%20every%0A%20%20%20%20read%20is%20a%20seek%20to%20a%20different%20place%2C%20and%20the%20clever%20prefetching%20that%20was%20hiding%20the%20disk%0A%20%20%20%20latency%20has%20nothing%20to%20work%20with.%0A%0A%20%20%20%20Fewer%20photos%2C%20worse%20access%20pattern%2C%20slower%20pipeline.%0A%0A%20%20%20%20The%20fix%20is%20dull%20and%20completely%20effective%3A%20**after%20choosing%20your%20subset%2C%20write%20it%20out%0A%20%20%20%20again%20as%20a%20fresh%20set%20of%20sequential%20files.**%20One%20pass%20over%20the%20data%2C%20once%2C%20and%20you%20get%0A%20%20%20%20the%20sequential%20read%20speed%20back%20on%20a%20dataset%20a%20quarter%20the%20size.%20Then%20it%20really%20is%0A%20%20%20%20faster.%0A%0A%20%20%20%20The%20lesson%20generalises%20beyond%20this%20example.%20A%20change%20that%20reduces%20the%20*amount*%20of%20work%0A%20%20%20%20can%20increase%20the%20*time*%20by%20changing%20how%20the%20work%20is%20laid%20out.%20Count%20your%20examples%20all%0A%20%20%20%20you%20like%3B%20you%20still%20have%20to%20measure%20the%20clock.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20e8%2C%20e8_render%2C%20e8_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Check%208.**%20Your%20pipeline%20delivers%20300%20images%2Fs%20and%20your%20GPU%20can%20take%20800.%20%22%0A%20%20%20%20%20%20%20%20%22Finance%20offers%20you%20a%20GPU%20twice%20as%20fast.%20What%20happens%20to%20your%20training%20time%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22It%20roughly%20halves%2C%20since%20the%20GPU%20does%20the%20heavy%20lifting%22%3A%20%22half%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Nothing%2C%20because%20the%20pipeline%20still%20delivers%20300%2Fs%20and%20that%20is%20what%20sets%20the%20pace%22%3A%20%22nothing%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22It%20improves%20by%20about%2037.5%25%2C%20in%20line%20with%20current%20utilisation%22%3A%20%22util%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22nothing%22%2C%0A%20%20%20%20%20%20%20%20%22You%20would%20go%20from%20a%20GPU%20idle%2062%25%20of%20the%20time%20to%20one%20idle%2081%25%20of%20the%20time%2C%20at%20%22%0A%20%20%20%20%20%20%20%20%22roughly%20twice%20the%20hourly%20rate.%20The%20production%20line%20still%20runs%20at%20the%20speed%20of%20its%20%22%0A%20%20%20%20%20%20%20%20%22slowest%20stage%2C%20and%20you%20have%20just%20made%20the%20fast%20stage%20faster.%5Cn%5CnWhat%20would%20actually%20%22%0A%20%20%20%20%20%20%20%20%22help%20costs%20far%20less%3A%20more%20decoding%20workers%2C%20a%20cheaper%20image%20format%2C%20decoding%20on%20%22%0A%20%20%20%20%20%20%20%20%22the%20GPU%2C%20caching%20the%20decoded%20data%2C%20or%20storing%20the%20dataset%20in%20big%20sequential%20files%20%22%0A%20%20%20%20%20%20%20%20%22instead%20of%20many%20small%20ones.%5Cn%5CnThe%20habit%20worth%20taking%20from%20this%20is%20the%20one%20from%20%22%0A%20%20%20%20%20%20%20%20%22Week%206%2C%20and%20it%20is%20probably%20the%20most%20portable%20thing%20in%20this%20course.%20**Find%20the%20%22%0A%20%20%20%20%20%20%20%20%22bottleneck%20before%20you%20spend%20anything.**%20An%20upgrade%20aimed%20at%20a%20stage%20that%20was%20never%20%22%0A%20%20%20%20%20%20%20%20%22the%20limit%20buys%20you%20nothing%2C%20and%20it%20is%20an%20easy%20mistake%20to%20make%20because%20the%20%22%0A%20%20%20%20%20%20%20%20%22expensive%20component%20feels%20like%20it%20must%20be%20the%20important%20one.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22e8%22%2C%0A%20%20%20%20)%0A%20%20%20%20e8%0A%20%20%20%20return%20e8%2C%20e8_render%2C%20e8_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(e8%2C%20e8_render)%3A%0A%20%20%20%20e8_render(e8.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%207%3A%20Three%20engineers%2C%20one%20budget%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Everything%20from%20both%20weeks%2C%20in%20one%20decision.%0A%0A%20%20%20%20The%20doorbell%20is%20good%20in%20daylight%20and%20bad%20on%20rainy%20nights.%20**The%20product%20requirement%20is%0A%20%20%20%2090%25%20rainy-night%20recall**%2C%20and%20you%20are%20currently%20at%2062%25.%20Three%20people%20on%20your%20team%20each%0A%20%20%20%20want%20to%20do%20something%20different%2C%20and%20you%20can%20fund%20one%20of%20them%20this%20quarter.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-flow%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22step%22%3E%3Cspan%20class%3D%22n%22%3EEngineer%20A%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch5%3EPrune%20the%20daylight%20photos%3C%2Fh5%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EWeek%207's%20k-center.%20Drop%20the%20redundant%20daylight%20shots%20so%20training%20stops%0A%20%20%20%20%20%20%20%20%20%20%20%20wasting%20time%20on%20them.%3C%2Fp%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22step%22%3E%3Cspan%20class%3D%22n%22%3EEngineer%20B%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch5%3EGenerate%20rainy%20nights%3C%2Fh5%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EConditional%20diffusion%20plus%20a%20checking%20pipeline%2C%20to%20build%20the%20examples%20that%0A%20%20%20%20%20%20%20%20%20%20%20%20were%20never%20photographed.%3C%2Fp%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22step%22%3E%3Cspan%20class%3D%22n%22%3EEngineer%20C%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch5%3EFix%20the%20data%20pipeline%3C%2Fh5%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3ECaching%2C%20more%20decode%20workers%2C%20sequential%20files.%20Same%20dataset%2C%20better%0A%20%20%20%20%20%20%20%20%20%20%20%20hardware%20utilisation.%3C%2Fp%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20They%20each%20run%20a%20pilot.%20Here%20is%20what%20comes%20back%2C%20measured%20on%20**real**%20held-out%20photos.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20_rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22A%3A%20pruning%20only%22%2C%20%2296%25%22%2C%2065%2C%20%228%20GPU-hrs%22)%2C%0A%20%20%20%20%20%20%20%20(%22B%3A%20generated%20%2B%20real%22%2C%20%2295.5%25%22%2C%2091%2C%20%2219%20GPU-hrs%22)%2C%0A%20%20%20%20%20%20%20%20(%22C%3A%20better%20pipeline%20only%22%2C%20%2296%25%22%2C%2075%2C%20%2210%20GPU-hrs%22)%2C%0A%20%20%20%20%5D%0A%20%20%20%20_rows_html%20%3D%20%22%22%0A%20%20%20%20_YES%20%3D%20'%3Cspan%20class%3D%22tick%22%3Emeets%20the%20requirement%3C%2Fspan%3E'%0A%20%20%20%20_NO%20%3D%20'%3Cspan%20class%3D%22cross%22%3Edoes%20not%20meet%20it%3C%2Fspan%3E'%0A%20%20%20%20for%20_name%2C%20_acc%2C%20_rec%2C%20_cost%20in%20_rows%3A%0A%20%20%20%20%20%20%20%20_ok%20%3D%20_rec%20%3E%3D%2090%0A%20%20%20%20%20%20%20%20_rows_html%20%2B%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctr%20class%3D'%7B'on'%20if%20_ok%20else%20'off'%7D'%3E%3Ctd%3E%7B_name%7D%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctd%20class%3D'num'%3E%7B_acc%7D%3C%2Ftd%3E%3Ctd%20class%3D'num'%3E%7B_rec%7D%25%3C%2Ftd%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%3Ctd%20class%3D'num'%3E%7B_cost%7D%3C%2Ftd%3E%3Ctd%3E%7B_YES%20if%20_ok%20else%20_NO%7D%3C%2Ftd%3E%3C%2Ftr%3E%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Ctable%20class%3D%22w8-table%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cthead%3E%3Ctr%3E%3Cth%3EApproach%3C%2Fth%3E%3Cth%3EOverall%20accuracy%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cth%3ERainy-night%20recall%3C%2Fth%3E%3Cth%3ECost%3C%2Fth%3E%3Cth%3E%3C%2Fth%3E%3C%2Ftr%3E%3C%2Fthead%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctbody%3E%7B_rows_html%7D%3C%2Ftbody%3E%0A%20%20%20%20%20%20%20%20%3C%2Ftable%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20pick%2C%20saved)%3A%0A%20%20%20%20_saved%20%3D%20saved.get(%22decision%22)%20or%20%7B%7D%0A%20%20%20%20_choices%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22A%3A%20pruning%2C%20because%20it%20is%20cheapest%20and%20overall%20accuracy%20is%20highest%22%3A%20%22prune%22%2C%0A%20%20%20%20%20%20%20%20%22B%3A%20generated%20data%2C%20because%20it%20is%20the%20only%20one%20that%20meets%20the%20requirement%22%3A%20%22generate%22%2C%0A%20%20%20%20%20%20%20%20%22C%3A%20the%20pipeline%20work%2C%20because%20it%20is%20cheap%20and%20the%20gain%20is%20real%22%3A%20%22pipeline%22%2C%0A%20%20%20%20%20%20%20%20%22C%20first%2C%20then%20B%2C%20because%20a%20faster%20pipeline%20makes%20B's%20experiments%20cheaper%22%3A%20%22combo%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20decision_form%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%7Bchoice%7D%0A%0A%20%20%20%20%20%20%20%20%7Bwhy%7D%0A%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20.batch(%0A%20%20%20%20%20%20%20%20%20%20%20%20choice%3Dmo.ui.radio(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20options%3D_choices%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3Dpick(_choices%2C%20_saved.get(%22choice%22))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Which%20do%20you%20fund%3F**%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20why%3Dmo.ui.text_area(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3D_saved.get(%22why%22%2C%20%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20placeholder%3D%22I%20would%20fund...%20because...%20The%20thing%20that%20would%20change%20my%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22mind%20is...%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Why%3F%20And%20what%20single%20measurement%20would%20tell%20you%20that%20you%20chose%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22wrong%3F**%20Not%20marked%2C%20and%20you%20can%20change%20it%20as%20often%20as%20you%20like.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows%3D4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.form(%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_label%3D%22Submit%20my%20decision%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20validate%3Dlambda%20v%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Choose%20one%20of%20the%20four.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20v%20or%20v.get(%22choice%22)%20is%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22Write%20your%20reasoning%2C%20then%20submit.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20(v.get(%22why%22)%20or%20%22%22).strip()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20decision_form%0A%20%20%20%20return%20(decision_form%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(decision_form%2C%20mo%2C%20saved)%3A%0A%20%20%20%20_answer%20%3D%20decision_form.value%20or%20saved.get(%22decision%22)%0A%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20not%20_answer%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Pick%20an%20answer%2C%20say%20why%2C%20then%20press%20**Submit%20my%20decision**.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22)%2C%0A%20%20%20%20)%0A%20%20%20%20decision_choice%20%3D%20_answer%5B%22choice%22%5D%0A%20%20%20%20decision_why%20%3D%20_answer%5B%22why%22%5D.strip()%0A%20%20%20%20return%20decision_choice%2C%20decision_why%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(decision_choice%2C%20mo)%3A%0A%20%20%20%20_notes%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22prune%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20highest%20overall%20accuracy%20and%20the%20lowest%20cost%2C%20and%20it%20is%20the%20wrong%20call%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22for%20the%20reason%20this%20whole%20course%20keeps%20circling%20back%20to.%5Cn%5Cn96%25%20overall%20with%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2265%25%20on%20rainy%20nights%20means%20the%20average%20is%20being%20carried%20by%20daylight%2C%20which%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22most%20events.%20The%2035%25%20of%20rainy-night%20pedestrians%20it%20misses%20are%20not%20a%20rounding%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22error%20in%20a%20dashboard%3B%20they%20are%20the%20cases%20the%20product%20exists%20to%20catch.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Optimising%20the%20average%20here%20optimises%20away%20the%20thing%20that%20matters.%5Cn%5CnAnd%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22pruning%20never%20addressed%20this%20problem.%20It%20made%20training%20cheaper.%20The%20model%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22still%20bad%20at%20night%2C%20because%20nobody%20gave%20it%20any%20more%20night.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22generate%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Right%2C%20and%20the%20reasoning%20is%20the%20part%20worth%20keeping.%20It%20is%20the%20most%20expensive%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22option%2C%2019%20GPU-hours%20against%208%2C%20and%20it%20has%20the%20*lowest*%20overall%20accuracy%20of%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22the%20three.%20On%20both%20of%20the%20numbers%20an%20instinct%20reaches%20for%20first%2C%20it%20loses.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%5Cn%5CnIt%20is%20also%20the%20only%20one%20that%20does%20the%20job.%20The%20requirement%20is%2090%25%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22rainy-night%20recall.%20A%20and%20C%20are%20not%20cheaper%20ways%20of%20meeting%20it%3B%20they%20do%20not%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22meet%20it.%20There%20is%20one%20option%20on%20the%20table%20and%20the%20question%20is%20only%20whether%20you%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22can%20afford%20it.%5Cn%5CnThis%20is%20Check%202%20arriving%20with%20real%20numbers.%20Fix%20the%20quality%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22bar%20first%2C%20then%20shop%20on%20price%20among%20the%20things%20that%20clear%20it.%20The%20half-point%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22of%20overall%20accuracy%20is%20a%20genuine%20cost%20and%20it%20is%20worth%20paying.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22pipeline%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20real%20improvement%2C%20genuinely%20cheap%2C%20and%20it%20does%20not%20solve%20your%20problem.%2075%25%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22is%20better%20than%2065%25%20and%20it%20is%20not%2090%25.%5Cn%5CnWorth%20understanding%20why%20it%20helped%20at%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22all%2C%20because%20it%20is%20instructive%3A%20a%20faster%20pipeline%20means%20more%20training%20in%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22same%20wall-clock%20time%2C%20so%20the%20model%20squeezed%20more%20out%20of%20the%20100%20rainy-night%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22photos%20it%20had.%20But%20the%20ceiling%20is%20set%20by%20those%20100%20photos%2C%20and%20efficiency%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cannot%20lift%20it.%20You%20can%20get%20to%20the%20ceiling%20faster.%20You%20cannot%20get%20through%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22it.%5Cn%5CnDo%20this%20work.%20Do%20it%20because%20it%20makes%20everything%20else%20cheaper%2C%20including%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22B.%20Just%20don't%20file%20it%20as%20a%20fix%20for%20night-time%20recall.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22combo%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20answer%20a%20good%20engineer%20gives%2C%20and%20the%20one%20worth%20arguing%20about%2C%20so%20let's%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22argue.%5Cn%5CnThe%20logic%20is%20sound%3A%20C%20is%20cheap%20and%20makes%20every%20later%20experiment%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22faster%2C%20so%20doing%20it%20first%20reduces%20the%20cost%20of%20B.%20Sequencing%20cheap%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22infrastructure%20ahead%20of%20expensive%20experiments%20is%20usually%20right.%5Cn%5CnThe%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22objection%20is%20the%20clock.%20You%20are%20at%2062%25%20against%20a%20requirement%20of%2090%25%2C%20and%20C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22does%20not%20move%20you%20towards%20it.%20If%20the%20requirement%20has%20a%20date%20on%20it%2C%20you%20have%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22spent%20some%20of%20your%20quarter%20making%20your%20tooling%20nicer%20while%20the%20actual%20gap%20sat%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22where%20it%20was.%20B%20takes%20weeks%3A%20building%20the%20prompts%2C%20the%20checking%20pipeline%2C%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22validation.%5Cn%5CnSo%3A%20start%20B%20now%2C%20and%20let%20C%20happen%20alongside%20it%2C%20because%20they%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22touch%20different%20parts%20of%20the%20system%20and%20C's%20benefit%20lands%20on%20B's%20experiments%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22while%20B%20is%20still%20running.%20If%20you%20genuinely%20must%20pick%20one%2C%20pick%20the%20one%20that%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22clears%20the%20bar.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%7D%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20On%20your%20answer%22)%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(_notes%5Bdecision_choice%5D)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20move%20underneath%20all%20four%20answers%20is%20the%20same%20one%3A%20**work%20out%20what%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22actually%20broken%20before%20you%20choose%20a%20tool.**%20Engineer%20A's%20method%20fixes%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22redundancy.%20Engineer%20C's%20fixes%20throughput.%20Only%20B's%20fixes%20coverage%2C%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22coverage%20was%20what%20was%20broken.%5Cn%5CnAll%20three%20are%20good%20techniques.%20Two%20of%20them%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22were%20aimed%20at%20the%20wrong%20thing.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20One%20more%20thing%3A%20when%20expensive%20setup%20is%20worth%20it%0A%0A%20%20%20%20A%20footnote%20that%20decides%20a%20lot%20of%20real%20arguments.%0A%0A%20%20%20%20Engineer%20A's%20pruning%20costs%206%20hours%20of%20scoring%2C%20then%20saves%204%20hours%20on%20every%20training%20run%0A%20%20%20%20(16%20hours%20down%20to%2012).%20Run%20once%20and%20you%20have%20spent%2018%20hours%20instead%20of%2016%2C%20so%20you%20lost.%0A%20%20%20%20Run%20it%20four%20times%2C%20as%20you%20would%20during%20a%20hyperparameter%20sweep%2C%20and%20it%20is%206%20%2B%204%26times%3B12%0A%20%20%20%20%3D%2054%20hours%20against%204%26times%3B16%20%3D%2064.%20You%20won.%0A%0A%20%20%20%20The%20break-even%20is%20just%20the%20setup%20cost%20divided%20by%20the%20per-run%20saving%3A%0A%0A%20%20%20%20%24%24n%20%3E%20%5Cfrac%7B6%7D%7B16%20-%2012%7D%20%3D%201.5%24%24%0A%0A%20%20%20%20So%20from%20the%20**second**%20run%20onward.%20The%20same%20arithmetic%20applies%20to%20Engineer%20B%3A%20screening%0A%20%20%20%206%2C000%20generated%20photos%20is%20a%20one-off%2C%20and%20that%20dataset%20then%20serves%20every%20future%20training%0A%20%20%20%20run.%0A%0A%20%20%20%20Which%20is%20why%20%22is%20this%20worth%20it%3F%22%20has%20no%20answer%20until%20somebody%20says%20how%20many%20times%20you%0A%20%20%20%20are%20going%20to%20run%20it.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(decision_choice%2C%20locked%2C%20mo%2C%20saved)%3A%0A%20%20%20%20_%20%3D%20decision_choice%0A%20%20%20%20_saved%20%3D%20saved.get(%22reflection%22)%20or%20%7B%7D%0A%20%20%20%20reflect_form%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.md(%22%7Btakeaway%7D%22)%0A%20%20%20%20%20%20%20%20.batch(%0A%20%20%20%20%20%20%20%20%20%20%20%20takeaway%3Dmo.ui.text_area(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3D_saved.get(%22takeaway%22%2C%20%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20placeholder%3D%22I%20would%20check...%20first%2C%20because%20if%20it%20came%20back%20as...%20then...%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Last%20one.**%20You've%20funded%20Engineer%20B.%20Before%20anybody%20generates%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22single%20image%2C%20name%20one%20thing%20you%20would%20put%20in%20place%2C%20and%20say%20what%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22it%20protects%20you%20from.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows%3D4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.form(%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_label%3D%22Finish%20the%20lab%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20validate%3Dlambda%20v%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20None%20if%20v%20and%20(v.get(%22takeaway%22)%20or%20%22%22).strip()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22Write%20a%20sentence%20or%20two%2C%20then%20submit.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20reflect_form%0A%20%20%20%20return%20(reflect_form%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20reflect_form%2C%20saved)%3A%0A%20%20%20%20_answer%20%3D%20reflect_form.value%20or%20saved.get(%22reflection%22)%0A%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20not%20_answer%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Answer%20the%20last%20question%20to%20finish%20the%20lab.%22)%2C%20kind%3D%22warn%22)%2C%0A%20%20%20%20)%0A%20%20%20%20takeaway_text%20%3D%20_answer%5B%22takeaway%22%5D.strip()%0A%20%20%20%20done%20%3D%20True%0A%20%20%20%20return%20done%2C%20takeaway_text%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20accept_pct%2C%0A%20%20%20%20alpha_bar%2C%0A%20%20%20%20decision_form%2C%0A%20%20%20%20e1%2C%0A%20%20%20%20e2%2C%0A%20%20%20%20e3%2C%0A%20%20%20%20e4%2C%0A%20%20%20%20e5%2C%0A%20%20%20%20e6%2C%0A%20%20%20%20e7%2C%0A%20%20%20%20e8%2C%0A%20%20%20%20echo%2C%0A%20%20%20%20eps_val%2C%0A%20%20%20%20gen_secs%2C%0A%20%20%20%20hunch_form%2C%0A%20%20%20%20lab_sync%2C%0A%20%20%20%20mix_lam%2C%0A%20%20%20%20need_valid%2C%0A%20%20%20%20r_gpu%2C%0A%20%20%20%20r_input%2C%0A%20%20%20%20val_secs%2C%0A%20%20%20%20x0_val%2C%0A)%3A%0A%20%20%20%20%23%20Marked%20answers%20go%20through%20record_once%2C%20so%20the%20first%20answer%20is%20the%20one%20that%0A%20%20%20%20%23%20counts.%20Sliders%20and%20the%20written%20decision%20can%20change%20freely.%0A%20%20%20%20if%20lab_sync%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20lab_sync.record_once(%0A%20%20%20%20%20%20%20%20%20%20%20%20e1%3De1.value%2C%20e2%3De2.value%2C%20e3%3De3.value%2C%20e4%3De4.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20e5%3De5.value%2C%20e6%3De6.value%2C%20e7%3De7.value%2C%20e8%3De8.value%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20lab_sync.record(%0A%20%20%20%20%20%20%20%20%20%20%20%20mix_lam%3Dmix_lam.value%2C%20alpha_bar%3Dalpha_bar.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x0_val%3Dx0_val.value%2C%20eps_val%3Deps_val.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20need_valid%3Dneed_valid.value%2C%20accept_pct%3Daccept_pct.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20gen_secs%3Dgen_secs.value%2C%20val_secs%3Dval_secs.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20r_input%3Dr_input.value%2C%20r_gpu%3Dr_gpu.value%2C%20echo%3Decho.value%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20hunch_form.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20lab_sync.record(hunch%3Dhunch_form.value)%0A%20%20%20%20%20%20%20%20if%20decision_form.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20lab_sync.record(decision%3Ddecision_form.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(lab_sync%2C%20reflect_form)%3A%0A%20%20%20%20%23%20This%20form%20only%20exists%20once%20the%20decision%20is%20in%2C%20so%20it%20is%20recorded%20here.%0A%20%20%20%20if%20lab_sync%20is%20not%20None%20and%20reflect_form.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20lab_sync.record(reflection%3Dreflect_form.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20e1%2C%0A%20%20%20%20e1_sum%2C%0A%20%20%20%20e2%2C%0A%20%20%20%20e2_sum%2C%0A%20%20%20%20e3%2C%0A%20%20%20%20e3_sum%2C%0A%20%20%20%20e4%2C%0A%20%20%20%20e4_sum%2C%0A%20%20%20%20e5%2C%0A%20%20%20%20e5_sum%2C%0A%20%20%20%20e6%2C%0A%20%20%20%20e6_sum%2C%0A%20%20%20%20e7%2C%0A%20%20%20%20e7_sum%2C%0A%20%20%20%20e8%2C%0A%20%20%20%20e8_sum%2C%0A)%3A%0A%20%20%20%20%23%20One%20place%20that%20knows%20every%20marked%20answer%2C%20so%20the%20report%2C%20the%20score%20and%20the%0A%20%20%20%20%23%20dashboard%20cannot%20disagree.%0A%20%20%20%20CHECKS%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22Deleting%20cannot%20create%20what%20is%20missing%22%2C%20e1_sum(e1.value))%2C%0A%20%20%20%20%20%20%20%20(%22Comparing%20against%20something%20that%20fails%22%2C%20e2_sum(e2.value))%2C%0A%20%20%20%20%20%20%20%20(%22Why%20blending%20words%20does%20not%20work%22%2C%20e3_sum(e3.value))%2C%0A%20%20%20%20%20%20%20%20(%22Training%20a%20generator%20needs%20no%20labels%22%2C%20e4_sum(e4.value))%2C%0A%20%20%20%20%20%20%20%20(%22Fewer%20numbers%20is%20not%20a%20speed%22%2C%20e5_sum(e5.value))%2C%0A%20%20%20%20%20%20%20%20(%22The%20label%20is%20what%20needs%20checking%22%2C%20e6_sum(e6.value))%2C%0A%20%20%20%20%20%20%20%20(%22Testing%20on%20your%20own%20fake%20data%22%2C%20e7_sum(e7.value))%2C%0A%20%20%20%20%20%20%20%20(%22Upgrading%20the%20stage%20that%20was%20not%20the%20limit%22%2C%20e8_sum(e8.value))%2C%0A%20%20%20%20%5D%0A%20%20%20%20checks_right%20%3D%20sum(1%20for%20_n%2C%20(_t%2C%20_ok)%20in%20CHECKS%20if%20_ok)%0A%20%20%20%20checks_score%20%3D%20f%22%7Bchecks_right%7D%2F%7Blen(CHECKS)%7D%22%0A%20%20%20%20return%20CHECKS%2C%20checks_right%2C%20checks_score%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20CHECKS%2C%0A%20%20%20%20LAB_CSS%2C%0A%20%20%20%20accept%2C%0A%20%20%20%20checks_score%2C%0A%20%20%20%20cost_real%2C%0A%20%20%20%20decision_choice%2C%0A%20%20%20%20decision_why%2C%0A%20%20%20%20done%2C%0A%20%20%20%20echo%2C%0A%20%20%20%20gpu_busy%2C%0A%20%20%20%20mix_lam%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20n_generated%2C%0A%20%20%20%20need_valid%2C%0A%20%20%20%20per_usable_synth%2C%0A%20%20%20%20t_total_h%2C%0A%20%20%20%20takeaway_text%2C%0A%20%20%20%20unique_rate%2C%0A%20%20%20%20xt%2C%0A)%3A%0A%20%20%20%20_%20%3D%20(LAB_CSS%2C%20done)%0A%20%20%20%20_what%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22prune%22%3A%20%22Fund%20Engineer%20A%2C%20pruning%22%2C%0A%20%20%20%20%20%20%20%20%22generate%22%3A%20%22Fund%20Engineer%20B%2C%20generated%20data%22%2C%0A%20%20%20%20%20%20%20%20%22pipeline%22%3A%20%22Fund%20Engineer%20C%2C%20the%20pipeline%22%2C%0A%20%20%20%20%20%20%20%20%22combo%22%3A%20%22Fund%20C%20first%2C%20then%20B%22%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20def%20_mark(entry)%3A%0A%20%20%20%20%20%20%20%20_text%2C%20_ok%20%3D%20entry%0A%20%20%20%20%20%20%20%20if%20_ok%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20'%3Cspan%20class%3D%22cross%22%3Enot%20answered%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20_icon%20%3D%20'%3Cspan%20class%3D%22tick%22%3Eright%3C%2Fspan%3E'%20if%20_ok%20else%20'%3Cspan%20class%3D%22cross%22%3Ewrong%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20return%20f%22%7B_text%7D%20%26middot%3B%20%7B_icon%7D%22%0A%0A%20%20%20%20_rows%20%3D%20%22%22.join(%0A%20%20%20%20%20%20%20%20f'%3Cdiv%20class%3D%22row%22%3E%3Cspan%20class%3D%22k%22%3E%7B_name%7D%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20f'%3Cspan%20class%3D%22v%22%3E%7B_mark(_entry)%7D%3C%2Fspan%3E%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20for%20_name%2C%20_entry%20in%20CHECKS%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Your%20Week%208%20report%22)%2C%0A%20%20%20%20%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w8-report%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EMarked%20checks%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%3Cspan%20class%3D%22w8-score%22%3E%7Bchecks_score%7D%3C%2Fspan%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EBlending%20and%20noise%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3EA%20MixUp%20blend%20of%20%7Bmix_lam.value%7D%20per%20cent%20gives%20the%20label%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%7Bmix_lam.value%20%2F%20100%3A.2f%7D%2C%20%7B1%20-%20mix_lam.value%20%2F%20100%3A.2f%7D).%20Your%20noise%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20settings%20produced%20a%20pixel%20of%20%7Bxt%3A%2B.3f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3ECost%20of%20fake%20photos%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3ETo%20get%20%7Bneed_valid.value%3A%2C%7D%20usable%20ones%20at%20a%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7Baccept%20*%20100%3A.0f%7D%20per%20cent%20pass%20rate%20you%20generate%20%7Bn_generated%3A%2C.0f%7D%2C%20over%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7Bt_total_h%3A%2C.1f%7D%20hours%20of%20GPU%20and%20human%20time.%20That%20is%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%26pound%3B%7Bper_usable_synth%3A%2C.2f%7D%20each%2C%20against%20%26pound%3B%7Bcost_real%3A%2C.0f%7D%20to%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20have%20the%20real%20ones%20labelled%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EYour%20training%20pipeline%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3EGPU%20busy%20%7Bgpu_busy%3A.0f%7D%20per%20cent%20at%20an%20echo%20of%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7Becho.value%7D%2C%20with%20%7Bunique_rate%3A%2C.0f%7D%20genuinely%20different%20photos%20reaching%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20it%20per%20second%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EWhat%20you%20funded%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_what.get(decision_choice%2C%20decision_choice)%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EReasoning%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%20quote%22%3E%7Bdecision_why%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EWhat%20you%20would%20put%20in%20place%20first%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%20quote%22%3E%7Btakeaway_text%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_rows%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(done%2C%20get_given%2C%20locked%2C%20mo%2C%20pick%2C%20saved%2C%20set_given)%3A%0A%20%20%20%20_%20%3D%20done%0A%20%20%20%20QUIZ%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22Your%20model%20is%20weak%20on%20a%20rare%20scene%20you%20have%20very%20few%20photos%20of.%20Which%20of%20these%20%22%0A%20%20%20%20%20%20%20%20%20%22can%20raise%20the%20ceiling%20on%20how%20well%20it%20could%20possibly%20do%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%7B%22Pruning%20the%20common%20scenes%20so%20training%20focuses%20on%20the%20rare%20one%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22Adding%20examples%20of%20the%20rare%20scene%2C%20whether%20photographed%20or%20generated%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22Making%20the%20data%20pipeline%20faster%20so%20it%20trains%20for%20more%20steps%22%3A%20%22c%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%22b%22)%2C%0A%20%20%20%20%20%20%20%20(%22Scoring%20and%20choosing%20a%20subset%20costs%206%20hours%20once%2C%20and%20saves%204%20hours%20on%20every%20%22%0A%20%20%20%20%20%20%20%20%20%22training%20run.%20When%20does%20it%20start%20paying%20off%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%7B%22Immediately%2C%20since%20each%20run%20is%20cheaper%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22From%20the%20second%20run%2C%20because%206%20divided%20by%204%20is%201.5%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22Never%2C%20since%20the%20setup%20cost%20is%20larger%20than%20the%20per-run%20saving%22%3A%20%22c%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%22b%22)%2C%0A%20%20%20%20%20%20%20%20(%22Your%20GPU%20reports%20100%25%20busy%20after%20you%20turned%20on%20echoing%2C%20but%20the%20model%20is%20taking%20%22%0A%20%20%20%20%20%20%20%20%20%22more%20steps%20to%20reach%20the%20target%20accuracy%20than%20before.%20What%20is%20going%20on%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%7B%22The%20GPU%20is%20throttling%20and%20needs%20better%20cooling%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22Busy%20is%20not%20the%20same%20as%20learning%3B%20it%20is%20processing%20repeats%20of%20the%20same%20photos%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22The%20echo%20factor%20is%20too%20low%20and%20should%20be%20raised%20further%22%3A%20%22c%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%22b%22)%2C%0A%20%20%20%20%5D%0A%20%20%20%20_saved%20%3D%20saved.get(%22quiz%22)%20or%20%7B%7D%0A%20%20%20%20_given%20%3D%20get_given()%0A%0A%20%20%20%20def%20_lock(n)%3A%0A%20%20%20%20%20%20%20%20def%20handler(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_k%20%3D%20%22quiz%22%20%2B%20str(n)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20value%20is%20not%20None%20and%20get_given().get(_k%2C%20_saved.get(str(n)))%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20set_given(lambda%20d%3A%20dict(d%2C%20**%7B_k%3A%20value%7D))%0A%20%20%20%20%20%20%20%20return%20handler%0A%0A%20%20%20%20quiz%20%3D%20mo.ui.array(%5B%0A%20%20%20%20%20%20%20%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%20%20%20%20options%3D_options%2C%20label%3Df%22**%7B_n%7D.**%20%7B_question%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3Dpick(_options%2C%20_given.get(%22quiz%22%20%2B%20str(_n)%2C%20_saved.get(str(_n))))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%20or%20_given.get(%22quiz%22%20%2B%20str(_n)%2C%20_saved.get(str(_n)))%20is%20not%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20on_change%3D_lock(_n)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20for%20_n%2C%20(_question%2C%20_options%2C%20_right)%20in%20enumerate(QUIZ%2C%201)%0A%20%20%20%20%5D)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Quiz%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%22Three%20questions%2C%20one%20answer%20each%2C%20marked%20when%20you%20submit.%22)%2C%0A%20%20%20%20%20%20%20%20*%5Bquiz%5B_i%5D%20for%20_i%20in%20range(len(QUIZ))%5D%2C%0A%20%20%20%20%5D%2C%20gap%3D1)%0A%20%20%20%20return%20QUIZ%2C%20quiz%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(CHECKS%2C%20QUIZ%2C%20checks_right%2C%20lab_sync%2C%20quiz)%3A%0A%20%20%20%20_quiz_right%20%3D%20sum(v%20%3D%3D%20q%5B2%5D%20for%20q%2C%20v%20in%20zip(QUIZ%2C%20quiz.value))%0A%20%20%20%20quiz_score%20%3D%20f%22%7B_quiz_right%7D%2F%7Blen(QUIZ)%7D%22%0A%20%20%20%20auto_score%20%3D%20f%22%7Bchecks_right%20%2B%20_quiz_right%7D%2F%7Blen(CHECKS)%20%2B%20len(QUIZ)%7D%22%0A%20%20%20%20if%20lab_sync%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20lab_sync.record_once(**%7Bstr(n)%3A%20v%20for%20n%2C%20v%20in%20enumerate(quiz.value%2C%201)%7D)%0A%20%20%20%20%20%20%20%20lab_sync.record(quiz%3D%7Bstr(n)%3A%20v%20for%20n%2C%20v%20in%20enumerate(quiz.value%2C%201)%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20quiz_score%3Dquiz_score%2C%20auto_score%3Dauto_score)%0A%20%20%20%20return%20auto_score%2C%20quiz_score%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(done%2C%20locked%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20done%0A%20%20%20%20%23%20Handing%20in%20cannot%20be%20undone%2C%20so%20it%20takes%20a%20tick%20as%20well%20as%20a%20press.%0A%20%20%20%20confirm%20%3D%20mo.ui.checkbox(%0A%20%20%20%20%20%20%20%20label%3D%22I%20have%20read%20my%20answers%20back%20and%20I%20know%20they%20cannot%20be%20changed%20after%20this%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(confirm%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(confirm%2C%20done%2C%20lab_sync%2C%20locked%2C%20mo%2C%20quiz)%3A%0A%20%20%20%20_%20%3D%20done%0A%20%20%20%20_unanswered%20%3D%20sum(v%20is%20None%20for%20v%20in%20quiz.value)%0A%20%20%20%20submit_button%20%3D%20mo.ui.run_button(%0A%20%20%20%20%20%20%20%20label%3D%22Submit%20my%20work%22%2C%0A%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlab_sync%20is%20None%20or%20locked%20or%20_unanswered%20%3E%200%0A%20%20%20%20%20%20%20%20or%20not%20confirm.value%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%22Send%20your%20answers%20to%20your%20instructor%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Submit%20your%20work%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Everything%20has%20been%20saving%20as%20you%20went.%20Handing%20in%20is%20the%20last%20step%20and%20it%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22final%3A%20once%20the%20lab%20is%20in%2C%20nothing%20on%20this%20page%20can%20be%20changed%2C%20the%20written%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22answers%20included.%20Read%20back%20through%20them%20first.%20If%20you%20hand%20in%20by%20mistake%2C%20ask%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22your%20instructor%20to%20reopen%20the%20lab%20for%20you.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(f%22%20**Answer%20the%20%7B_unanswered%7D%20quiz%20question%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B's'%20if%20_unanswered%20%3E%201%20else%20''%7D%20above%20first.**%22%20if%20_unanswered%20else%20%22%22)%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20confirm%2C%0A%20%20%20%20%20%20%20%20submit_button%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20(submit_button%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(%0A%20%20%20%20auto_score%2C%0A%20%20%20%20lab_status%2C%0A%20%20%20%20lab_sync%2C%0A%20%20%20%20locked%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20quiz_score%2C%0A%20%20%20%20reflect_form%2C%0A%20%20%20%20saved%2C%0A%20%20%20%20submit_button%2C%0A)%3A%0A%20%20%20%20%23%20Runs%20when%20the%20button%20is%20pressed%2C%20and%20otherwise%20just%20says%20where%20things%20stand.%0A%20%20%20%20if%20lab_sync%20is%20None%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22This%20copy%20of%20the%20lab%20is%20not%20connected%20to%20the%20course%20site%2C%20so%20it%20cannot%20be%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22submitted%20from%20here.%22%2C%20%22neutral%22)%0A%20%20%20%20elif%20submit_button.value%3A%0A%20%20%20%20%20%20%20%20_reply%20%3D%20await%20lab_sync.submit(%0A%20%20%20%20%20%20%20%20%20%20%20%20reflection%3Dreflect_form.value%20or%20saved.get(%22reflection%22)%2C%20finished%3DTrue)%0A%20%20%20%20%20%20%20%20if%20_reply.get(%22ok%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(f%22**Submitted.**%20Your%20instructor%20can%20see%20your%20work.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Quiz%3A%20**%7Bquiz_score%7D**.%20Marked%20answers%20overall%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bauto_score%7D**.%20That%20is%20the%20lab%20in%2C%20so%20nothing%20on%20this%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22page%20is%20saved%20from%20here%20on.%22%2C%20%22success%22)%0A%20%20%20%20%20%20%20%20elif%20_reply.get(%22submitted%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22**Already%20handed%20in.**%20This%20lab%20went%20in%20earlier%2C%20so%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22answers%20can%20no%20longer%20be%20changed.%22%2C%20%22warn%22)%0A%20%20%20%20%20%20%20%20elif%20_reply.get(%22locked%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22**Not%20submitted.**%20Your%20instructor%20has%20locked%20this%20lab.%22%2C%20%22danger%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Not%20submitted%3A**%20%7B_reply.get('error'%2C%20'something%20went%20wrong')%7D.%20Your%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22answers%20are%20still%20saved.%20Press%20**Submit%20my%20work**%20to%20try%20again.%22%2C%20%22danger%22)%0A%20%20%20%20elif%20lab_sync.last_submitted%20or%20lab_status.get(%22submitted%22)%3A%0A%20%20%20%20%20%20%20%20_when%20%3D%20str(lab_sync.last_submitted%20or%20lab_status.get(%22submittedAt%22)%20or%20%22%22)%5B%3A10%5D%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Submitted%20on%20%7B_when%7D.**%20Your%20answers%20are%20saved%20exactly%20as%20they%20were%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cannot%20be%20changed%20now.%20If%20you%20need%20another%20go%20at%20it%2C%20ask%20your%20instructor%20to%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22reopen%20the%20lab.%22%2C%20%22success%22)%0A%20%20%20%20elif%20locked%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22Your%20instructor%20has%20locked%20this%20lab%2C%20so%20it%20can%20no%20longer%20be%20submitted.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22warn%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22**Not%20submitted%20yet.**%20Press%20**Submit%20my%20work**%20when%20you%20are%20done.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22warn%22)%0A%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A