Week 6: Reading a Training Run

Week 6: Reading a Training Run - CSC/EE 8001

import%20marimo%0A%0A__generated_with%20%3D%20%220.24.0%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22Week%206%20-%20Reading%20a%20Training%20Run%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20json%0A%0A%20%20%20%20return%20json%2C%20mo%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(json%2C%20mo)%3A%0A%20%20%20%20%23%20Progress%20saving.%20On%20the%20course%20site%2C%20labs%2Fgate%2Fgate.js%20signs%20the%20student%20in%0A%20%20%20%20%23%20and%20tags%20this%20tab%20with%20an%20%22rl%22%20query%20parameter.%20The%20notebook%20runs%20in%20a%20web%0A%20%20%20%20%23%20worker%2C%20so%20it%20talks%20to%20that%20script%20over%20a%20BroadcastChannel%20named%20after%20the%0A%20%20%20%20%23%20tag%2C%20and%20the%20script%20makes%20the%20API%20calls.%20Opened%20any%20other%20way%20(marimo%20edit%2C%0A%20%20%20%20%23%20a%20plain%20export)%20there%20is%20no%20tag%20and%20nothing%20is%20saved.%0A%20%20%20%20import%20sys%20as%20_sys%0A%0A%20%20%20%20class%20LabSync%3A%0A%20%20%20%20%20%20%20%20def%20__init__(self%2C%20tab)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20js%20import%20BroadcastChannel%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20pyodide.ffi%20import%20create_proxy%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.state%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20self.last_submitted%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20self._waiting%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20self._channel%20%3D%20BroadcastChannel.new(%22radiant-lab-%22%20%2B%20tab)%0A%20%20%20%20%20%20%20%20%20%20%20%20self._listener%20%3D%20create_proxy(self._receive)%0A%20%20%20%20%20%20%20%20%20%20%20%20self._channel.onmessage%20%3D%20self._listener%0A%0A%20%20%20%20%20%20%20%20def%20_receive(self%2C%20event)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20message%20%3D%20json.loads(event.data)%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20(TypeError%2C%20ValueError)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%0A%20%20%20%20%20%20%20%20%20%20%20%20waiting%20%3D%20self._waiting.pop(message.get(%22id%22)%2C%20None)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20waiting%20is%20not%20None%20and%20not%20waiting.done()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20waiting.set_result(message)%0A%0A%20%20%20%20%20%20%20%20def%20_send(self%2C%20op%2C%20message_id%2C%20**fields)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20message%20%3D%20%7B%22id%22%3A%20message_id%2C%20%22op%22%3A%20op%2C%20%22from%22%3A%20%22notebook%22%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20message.update(fields)%0A%20%20%20%20%20%20%20%20%20%20%20%20self._channel.postMessage(json.dumps(message))%0A%0A%20%20%20%20%20%20%20%20async%20def%20_request(self%2C%20op%2C%20timeout%3DNone%2C%20**fields)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20asyncio%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20uuid%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20message_id%20%3D%20uuid.uuid4().hex%0A%20%20%20%20%20%20%20%20%20%20%20%20reply%20%3D%20asyncio.get_event_loop().create_future()%0A%20%20%20%20%20%20%20%20%20%20%20%20self._waiting%5Bmessage_id%5D%20%3D%20reply%0A%20%20%20%20%20%20%20%20%20%20%20%20self._send(op%2C%20message_id%2C%20**fields)%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20await%20(reply%20if%20timeout%20is%20None%20else%20asyncio.wait_for(reply%2C%20timeout))%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20asyncio.TimeoutError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%7B%22ok%22%3A%20False%2C%20%22error%22%3A%20%22the%20page%20did%20not%20answer%20in%20time%22%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20finally%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self._waiting.pop(message_id%2C%20None)%0A%0A%20%20%20%20%20%20%20%20async%20def%20load(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Wait%20for%20sign-in%2C%20then%20return%20what%20this%20student%20saved%20before.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20reply%20%3D%20await%20self._request(%22load%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20self.state%20%3D%20dict(reply.get(%22state%22)%20or%20%7B%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20reply%0A%0A%20%20%20%20%20%20%20%20def%20record(self%2C%20**answers)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Remember%20these%20answers%3B%20the%20page%20saves%20them%20a%20moment%20later.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20uuid%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20changed%20%3D%20%7Bk%3A%20v%20for%20k%2C%20v%20in%20answers.items()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20k%20not%20in%20self.state%20or%20self.state%5Bk%5D%20!%3D%20v%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20changed%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.state.update(changed)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self._send(%22save%22%2C%20uuid.uuid4().hex%2C%20state%3Dself.state)%0A%0A%20%20%20%20%20%20%20%20def%20record_once(self%2C%20**answers)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22For%20marked%20questions%3A%20the%20first%20answer%20is%20the%20one%20that%20counts.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20fresh%20%3D%20%7Bk%3A%20v%20for%20k%2C%20v%20in%20answers.items()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20v%20is%20not%20None%20and%20self.state.get(k)%20is%20None%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20fresh%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.record(**fresh)%0A%0A%20%20%20%20%20%20%20%20async%20def%20submit(self%2C%20**answers)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Save%20everything%20now%20and%20mark%20the%20lab%20as%20submitted.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20self.state.update(answers)%0A%20%20%20%20%20%20%20%20%20%20%20%20reply%20%3D%20await%20self._request(%22submit%22%2C%20timeout%3D45%2C%20state%3Dself.state)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20reply.get(%22ok%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.last_submitted%20%3D%20reply.get(%22submittedAt%22)%20or%20%22today%22%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20reply%0A%0A%20%20%20%20def%20pick(options%2C%20value)%3A%0A%20%20%20%20%20%20%20%20%22%22%22The%20label%20a%20radio%20should%20show%20for%20a%20saved%20value%2C%20or%20None.%22%22%22%0A%20%20%20%20%20%20%20%20return%20next((label%20for%20label%2C%20v%20in%20options.items()%20if%20v%20%3D%3D%20value)%2C%20None)%0A%0A%20%20%20%20lab_sync%20%3D%20None%0A%20%20%20%20lab_status%20%3D%20%7B%7D%0A%20%20%20%20saved%20%3D%20%7B%7D%0A%20%20%20%20locked%20%3D%20False%0A%20%20%20%20_tab%20%3D%20mo.query_params().get(%22rl%22)%20if%20%22pyodide%22%20in%20_sys.modules%20else%20None%0A%20%20%20%20if%20_tab%3A%0A%20%20%20%20%20%20%20%20lab_sync%20%3D%20LabSync(_tab)%0A%20%20%20%20%20%20%20%20lab_status%20%3D%20await%20lab_sync.load()%0A%20%20%20%20%20%20%20%20saved%20%3D%20dict(lab_sync.state)%0A%20%20%20%20%20%20%20%20%23%20Handed%20in%20means%20read-only%3A%20the%20server%20refuses%20any%20further%20writes%2C%0A%20%20%20%20%20%20%20%20%23%20so%20every%20control%20on%20the%20page%20is%20disabled%20to%20match.%0A%20%20%20%20%20%20%20%20locked%20%3D%20bool(lab_status.get(%22locked%22)%20or%20lab_status.get(%22submitted%22))%0A%20%20%20%20return%20lab_status%2C%20lab_sync%2C%20locked%2C%20pick%2C%20saved%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20Which%20marked%20questions%20have%20been%20answered.%20These%20count%20towards%20the%20grade%2C%20so%0A%20%20%20%20%23%20each%20one%20takes%20a%20single%20answer%20and%20then%20stops%20accepting%20input.%0A%20%20%20%20get_given%2C%20set_given%20%3D%20mo.state(%7B%7D)%0A%20%20%20%20return%20get_given%2C%20set_given%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(get_given%2C%20locked%2C%20mo%2C%20pick%2C%20saved%2C%20set_given)%3A%0A%20%20%20%20def%20ask(prompt%2C%20options%2C%20correct%2C%20because%2C%20key)%3A%0A%20%20%20%20%20%20%20%20%22%22%22A%20marked%20question.%20One%20answer%2C%20then%20the%20explanation.%20No%20second%20go.%22%22%22%0A%20%20%20%20%20%20%20%20labels%20%3D%20%7Bvalue%3A%20label%20for%20label%2C%20value%20in%20options.items()%7D%0A%20%20%20%20%20%20%20%20BREAK%20%3D%20chr(10)%20%2B%20chr(10)%0A%20%20%20%20%20%20%20%20given%20%3D%20get_given().get(key%2C%20saved.get(key))%0A%0A%20%20%20%20%20%20%20%20def%20choose(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20value%20is%20not%20None%20and%20get_given().get(key%2C%20saved.get(key))%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20set_given(lambda%20d%3A%20dict(d%2C%20**%7Bkey%3A%20value%7D))%0A%0A%20%20%20%20%20%20%20%20radio%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%20%20%20%20options%3Doptions%2C%20label%3Dprompt%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3Dpick(options%2C%20given)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%20or%20given%20is%20not%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20on_change%3Dchoose%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20def%20render(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20answer%20%3D%20given%20if%20given%20is%20not%20None%20else%20value%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20answer%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22This%20one%20is%20marked%2C%20so%20you%20get%20one%20answer.%20Take%20a%20moment.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22neutral%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20ok%20%3D%20answer%20%3D%3D%20correct%0A%20%20%20%20%20%20%20%20%20%20%20%20head%20%3D%20(%22**Right.**%20%22%20if%20ok%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20f%22**Not%20quite.%20The%20answer%20is%20_%7Blabels%5Bcorrect%5D%7D_.**%20%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(head%20%2B%20BREAK%20%2B%20because)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22success%22%20if%20ok%20else%20%22warn%22)%0A%0A%20%20%20%20%20%20%20%20def%20summarise(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20answer%20%3D%20given%20if%20given%20is%20not%20None%20else%20value%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20answer%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%22not%20answered%22%2C%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20labels%5Banswer%5D%2C%20answer%20%3D%3D%20correct%0A%0A%20%20%20%20%20%20%20%20return%20radio%2C%20render%2C%20summarise%0A%0A%20%20%20%20return%20(ask%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20LAB_CSS%20%3D%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cstyle%3E%0A%20%20%20%20%20%20%20%20%20%20.w6-hero%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-left%3A%206px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20%23fffef8%3B%20border-radius%3A%2012px%3B%20padding%3A%2020px%2024px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-eyebrow%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.76rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.08em%3B%20text-transform%3A%20uppercase%3B%20margin%3A%200%200%208px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-hero%20h1%20%7B%20margin%3A%200%200%208px%3B%20font-size%3A%201.75rem%3B%20color%3A%20%23111%3B%20line-height%3A%201.2%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-hero%20p.sub%20%7B%20margin%3A%200%3B%20color%3A%20%233a3a3a%3B%20font-size%3A%201.02rem%3B%20line-height%3A%201.65%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-hero%20p.sub%20code%20%7B%20background%3A%20%23fff3cc%3B%20border%3A%201px%20solid%20%23f2dfaa%3B%20padding%3A%200%205px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%204px%3B%20font-size%3A%20.92rem%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-chips%20%7B%20display%3A%20flex%3B%20flex-wrap%3A%20wrap%3B%20gap%3A%208px%3B%20margin-top%3A%2014px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-chip%20%7B%20border%3A%201px%20solid%20%23f2dfaa%3B%20background%3A%20%23fff3cc%3B%20color%3A%20%2362490a%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%20999px%3B%20padding%3A%204px%2011px%3B%20font-size%3A%20.72rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20800%3B%20letter-spacing%3A%20.04em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-chip-plain%20%7B%20border-color%3A%20%23e0e0e0%3B%20background%3A%20%23f4f4f4%3B%20color%3A%20%234a4a4a%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w6-split%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%201.6fr%201fr%3B%20gap%3A%2024px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20start%3B%20margin%3A%204px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20900px)%20%7B%20.w6-split%20%7B%20grid-template-columns%3A%201fr%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-split%20%3E%20.body%20p%20%7B%20margin%3A%200%200%2012px%3B%20color%3A%20%232f2f2f%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A%201rem%3B%20line-height%3A%201.7%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-split%20%3E%20.body%20p%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-split%20code%20%7B%20background%3A%20%23f4f4f4%3B%20padding%3A%201px%205px%3B%20border-radius%3A%204px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A%20.88rem%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w6-aside%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-top%3A%204px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20background%3A%20%23fcfcfc%3B%20padding%3A%2015px%2017px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-aside%20h4%20%7B%20margin%3A%200%200%2010px%3B%20padding-left%3A%2024px%3B%20font-size%3A%20.76rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%236a5314%3B%20font-weight%3A%20800%3B%20letter-spacing%3A%20.06em%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-aside%20ol%20%7B%20margin%3A%200%3B%20padding-left%3A%2024px%3B%20list-style%3A%20decimal%20outside%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-aside%20li%20%7B%20color%3A%20%232f2f2f%3B%20font-size%3A%20.91rem%3B%20line-height%3A%201.5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin-bottom%3A%209px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-aside%20li%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-aside%20li%3A%3Amarker%20%7B%20color%3A%20%236a5314%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-aside%20.meta%20%7B%20border-top%3A%201px%20solid%20%23ececec%3B%20margin-top%3A%2013px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding-top%3A%2011px%3B%20padding-left%3A%2024px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-aside%20.meta%20div%20%7B%20display%3A%20flex%3B%20justify-content%3A%20space-between%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gap%3A%2010px%3B%20font-size%3A%20.85rem%3B%20margin-bottom%3A%206px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-aside%20.meta%20div%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-aside%20.meta%20dt%20%7B%20color%3A%20%236f6f6f%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-aside%20.meta%20dd%20%7B%20margin%3A%200%3B%20color%3A%20%23111%3B%20font-weight%3A%20700%3B%20text-align%3A%20right%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w6-question%20%7B%20border%3A%201px%20solid%20%23f2dfaa%3B%20background%3A%20%23fffdf5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20padding%3A%2014px%2018px%3B%20margin%3A%2018px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-question%20.lbl%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.74rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.06em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-question%20p%20%7B%20margin%3A%206px%200%200%3B%20color%3A%20%23111%3B%20font-size%3A%201.06rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.55%3B%20font-style%3A%20italic%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-question%20code%20%7B%20font-style%3A%20normal%3B%20background%3A%20%23f4f4f4%3B%20padding%3A%201px%205px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%204px%3B%20font-size%3A%20.88rem%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w6-note%20%7B%20color%3A%20%236f6f6f%3B%20font-size%3A%20.85rem%3B%20margin%3A%202px%200%200%3B%20line-height%3A%201.5%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w6-runs%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20repeat(4%2C%201fr)%3B%20gap%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3A%2016px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20900px)%20%7B%20.w6-runs%20%7B%20grid-template-columns%3A%201fr%201fr%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20520px)%20%7B%20.w6-runs%20%7B%20grid-template-columns%3A%201fr%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-run%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-top%3A%205px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20background%3A%20%23fff%3B%20padding%3A%2013px%2014px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-run%20h4%20%7B%20margin%3A%200%200%209px%3B%20font-size%3A%20.95rem%3B%20color%3A%20%23111%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-run%20ul%20%7B%20margin%3A%200%3B%20padding-left%3A%2017px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-run%20li%20%7B%20color%3A%20%233a3a3a%3B%20font-size%3A%20.85rem%3B%20line-height%3A%201.5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin-bottom%3A%205px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-run%20code%20%7B%20background%3A%20%23fdecec%3B%20color%3A%20%23c62828%3B%20padding%3A%201px%205px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%204px%3B%20font-size%3A%20.79rem%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w6-stack%20%7B%20display%3A%20flex%3B%20flex-direction%3A%20column%3B%20gap%3A%207px%3B%20margin%3A%2018px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-layer%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20160px%201fr%3B%20gap%3A%2014px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20center%3B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-radius%3A%2010px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20%23fff%3B%20padding%3A%2011px%2015px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20640px)%20%7B%20.w6-layer%20%7B%20grid-template-columns%3A%201fr%3B%20gap%3A%203px%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-layer%20.n%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.78rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.05em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-layer%20.d%20%7B%20color%3A%20%233a3a3a%3B%20font-size%3A%20.89rem%3B%20line-height%3A%201.5%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-layer%20.d%20code%20%7B%20background%3A%20%23f4f4f4%3B%20padding%3A%201px%205px%3B%20border-radius%3A%204px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A%20.84rem%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-layer.top%20%7B%20border-left%3A%205px%20solid%20%23f1b82d%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-layer.bottom%20%7B%20border-left%3A%205px%20solid%20%239a9a9a%3B%20background%3A%20%23fafafa%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w6-grid%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20repeat(auto-fit%2C%20minmax(150px%2C%201fr))%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gap%3A%2012px%3B%20margin%3A%2014px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-stat%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-radius%3A%2010px%3B%20background%3A%20%23fff%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2011px%2013px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-stat%20.k%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.72rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.05em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-stat%20.v%20%7B%20display%3A%20block%3B%20color%3A%20%23111%3B%20font-size%3A%201.45rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.2%3B%20margin-top%3A%202px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-stat%20.why%20%7B%20display%3A%20block%3B%20color%3A%20%236f6f6f%3B%20font-size%3A%20.78rem%3B%20margin-top%3A%203px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.4%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-stat.green%20.v%20%7B%20color%3A%20%232e7d32%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-stat.red%20.v%20%7B%20color%3A%20%23c62828%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w6-budget%20%7B%20display%3A%20flex%3B%20height%3A%2044px%3B%20border-radius%3A%208px%3B%20overflow%3A%20hidden%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%23e6e6e6%3B%20margin%3A%2014px%200%206px%3B%20background%3A%20%23f6f6f6%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-budget%20span%20%7B%20display%3A%20flex%3B%20align-items%3A%20center%3B%20justify-content%3A%20center%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23fff%3B%20font-size%3A%20.74rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20overflow%3A%20hidden%3B%20white-space%3A%20nowrap%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-budget%20.p%20%7B%20background%3A%20%234a6fa5%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-budget%20.g%20%7B%20background%3A%20%237cb47f%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-budget%20.o%20%7B%20background%3A%20%23f1b82d%3B%20color%3A%20%234a3708%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-budget%20.a%20%7B%20background%3A%20%23c87f5a%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-budget%20.w%20%7B%20background%3A%20%239a9a9a%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-key%20%7B%20display%3A%20flex%3B%20flex-wrap%3A%20wrap%3B%20gap%3A%2014px%3B%20margin%3A%200%200%2012px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-key%20span%20%7B%20color%3A%20%234a4a4a%3B%20font-size%3A%20.8rem%3B%20display%3A%20flex%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20center%3B%20gap%3A%206px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-key%20i%20%7B%20width%3A%2011px%3B%20height%3A%2011px%3B%20border-radius%3A%203px%3B%20display%3A%20inline-block%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w6-bars%20%7B%20display%3A%20flex%3B%20flex-direction%3A%20column%3B%20gap%3A%2010px%3B%20margin%3A%2016px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-bar%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20200px%201fr%20130px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20center%3B%20gap%3A%2012px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20640px)%20%7B%20.w6-bar%20%7B%20grid-template-columns%3A%20110px%201fr%2090px%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-bar%20.t%20%7B%20color%3A%20%234a4a4a%3B%20font-size%3A%20.87rem%3B%20line-height%3A%201.3%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-bar%20.track%20%7B%20display%3A%20block%3B%20background%3A%20%23f4f4f4%3B%20border%3A%201px%20solid%20%23ececec%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%206px%3B%20height%3A%2026px%3B%20overflow%3A%20hidden%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-bar%20.fill%20%7B%20display%3A%20block%3B%20height%3A%20100%25%3B%20background%3A%20%23c9c9c9%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-bar.good%20.fill%20%7B%20background%3A%20%237cb47f%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-bar.bad%20.fill%20%7B%20background%3A%20%23d98080%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-bar.gold%20.fill%20%7B%20background%3A%20%23f1b82d%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-bar%20.n%20%7B%20text-align%3A%20right%3B%20font-weight%3A%20800%3B%20font-size%3A%20.9rem%3B%20color%3A%20%23111%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20table.w6-table%20%7B%20border-collapse%3A%20collapse%3B%20margin%3A%2014px%200%3B%20font-size%3A%20.92rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A%20100%25%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w6-table%20th%2C%20table.w6-table%20td%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%209px%2013px%3B%20text-align%3A%20left%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20vertical-align%3A%20top%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w6-table%20th%20%7B%20background%3A%20%23fffdf5%3B%20color%3A%20%236a5314%3B%20font-size%3A%20.76rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%20.04em%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w6-table%20code%20%7B%20background%3A%20%23f4f4f4%3B%20padding%3A%201px%205px%3B%20border-radius%3A%204px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A%20.85rem%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w6-report%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-top%3A%205px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20background%3A%20%23fff%3B%20padding%3A%204px%2020px%2016px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%208px%2020px%20rgba(17%2C%2017%2C%2017%2C%20.06)%3B%20margin%3A%206px%200%204px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-report%20.row%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20200px%201fr%3B%20gap%3A%2016px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2012px%200%3B%20border-bottom%3A%201px%20solid%20%23f2f2f2%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20baseline%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-report%20.row%3Alast-child%20%7B%20border-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20720px)%20%7B%20.w6-report%20.row%20%7B%20grid-template-columns%3A%201fr%3B%20gap%3A%203px%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-report%20.k%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.74rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.06em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-report%20.v%20%7B%20color%3A%20%231c1c1c%3B%20font-size%3A%20.99rem%3B%20line-height%3A%201.55%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-report%20.tick%20%7B%20color%3A%20%232e7d32%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-report%20.cross%20%7B%20color%3A%20%23c62828%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-report%20.quote%20%7B%20border-left%3A%203px%20solid%20%23f1b82d%3B%20padding-left%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23333%3B%20font-style%3A%20italic%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w6-score%20%7B%20display%3A%20inline-block%3B%20background%3A%20%23fff3cc%3B%20border%3A%201px%20solid%20%23f2dfaa%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%208px%3B%20padding%3A%203px%2011px%3B%20font-weight%3A%20800%3B%20color%3A%20%2362490a%3B%20%7D%0A%20%20%20%20%20%20%20%20%3C%2Fstyle%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20LAB_CSS%0A%20%20%20%20return%20(LAB_CSS%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-hero%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22w6-eyebrow%22%3ECSC%2FEE%208001%20%26middot%3B%20Week%206%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ch1%3EReading%20a%20Training%20Run%3C%2Fh1%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22sub%22%3ETwenty-four%20gigabytes%20of%20GPU.%20Seven%20gigabytes%20of%20weights.%20The%0A%20%20%20%20%20%20%20%20%20%20forward%20pass%20completes%2C%20then%20the%20run%20dies%20with%20%3Ccode%3ECUDA%20out%20of%20memory%3C%2Fcode%3E%0A%20%20%20%20%20%20%20%20%20%20inside%20%3Ccode%3Eloss.backward()%3C%2Fcode%3E.%20Nothing%20in%20that%20error%20says%20where%20the%20other%0A%20%20%20%20%20%20%20%20%20%20seventeen%20gigabytes%20went.%20By%20the%20end%20of%20this%20lab%20you%20can%20work%20it%20out%2C%20and%20design%0A%20%20%20%20%20%20%20%20%20%20the%20experiment%20that%20proves%20it.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-chips%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w6-chip%22%3EThe%20training%20stack%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w6-chip%22%3EFLOPs%20and%20bytes%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w6-chip%22%3EMemory%20budget%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w6-chip-plain%20w6-chip%22%3EChecks%20are%20marked%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Ch2%3EBefore%20we%20start%3C%2Fh2%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-split%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22body%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3ENotice%20how%20little%20that%20error%20told%20you.%20The%20allocator%20reported%20that%20a%20request%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20some%20number%20of%20bytes%20could%20not%20be%20satisfied.%20That%20is%20a%20fact%20about%20the%20last%0A%20%20%20%20%20%20%20%20%20%20%20%20millisecond%20of%20the%20run%2C%20not%20about%20the%20cause%2C%20and%207%20GB%20of%20weights%20cannot%20explain%20a%0A%20%20%20%20%20%20%20%20%20%20%20%2024%20GB%20failure%20on%20its%20own.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EMost%20training%20problems%20are%20shaped%20like%20this.%20A%20run%20that%20does%20not%20crash%2C%20keeps%0A%20%20%20%20%20%20%20%20%20%20%20%20the%20GPU%20warm%20and%20brings%20the%20loss%20down%20is%20not%20evidence%20of%20much%3A%20the%20same%0A%20%20%20%20%20%20%20%20%20%20%20%20description%20fits%20a%20run%20using%20an%20eighth%20of%20the%20card%20you%20are%20renting%2C%20a%20run%20two%0A%20%20%20%20%20%20%20%20%20%20%20%20hundred%20tokens%20of%20sequence%20length%20from%20falling%20over%2C%20a%20run%20whose%20gradients%20are%0A%20%20%20%20%20%20%20%20%20%20%20%20about%20to%20overflow%20FP16%2C%20and%20a%20run%20that%20is%20learning%20nothing%20at%20all.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3ENone%20of%20them%20announce%20themselves.%20They%20arrive%20as%20a%20vague%20complaint%20three%20weeks%0A%20%20%20%20%20%20%20%20%20%20%20%20later.%20It%20is%20slow%2C%20or%20it%20ran%20out%20of%20memory%2C%20or%20the%20eval%20numbers%20are%20rubbish.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3ESo%20the%20work%20is%20getting%20from%20a%20complaint%20to%20a%20number%20you%20can%20measure%2C%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20knowing%20which%20number.%20%3Ccode%3Envidia-smi%3C%2Fcode%3E%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ccode%3Etorch.cuda.max_memory_allocated()%3C%2Fcode%3E%20will%20answer%20most%20of%20what%20is%20in%0A%20%20%20%20%20%20%20%20%20%20%20%20this%20lab%2C%20but%20only%20if%20you%20know%20what%20to%20ask%20them.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Caside%20class%3D%22w6-aside%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3EBy%20the%20end%20you%20can%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Col%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EClassify%20four%20symptoms%20into%20resource%2C%20throughput%2C%20numerical%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20correctness%20failures.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EUse%20the%20execution%20stack%20to%20turn%20a%20symptom%20into%20a%20hypothesis%20about%20one%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20layer.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3ECount%20MACs%20and%20FLOPs%20for%20a%20layer%2C%20and%20say%20why%20that%20does%20not%20predict%20its%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20runtime.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EAccount%20for%20training%20memory%20in%20five%20terms%20and%20say%20which%20one%20dominates.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EDesign%20an%20OOM%20experiment%20whose%20outcome%20rules%20something%20out%20either%20way.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fol%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22meta%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cdt%3ETime%3C%2Fdt%3E%3Cdd%3Eabout%2045%20min%3C%2Fdd%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cdt%3EBefore%20this%3C%2Fdt%3E%3Cdd%3EWeeks%201%20to%205%3C%2Fdd%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cdt%3EMarked%3F%3C%2Fdt%3E%3Cdd%3Echecks%20and%20quiz%2C%20one%20answer%20each%3C%2Fdd%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Faside%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-question%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22lbl%22%3EThe%20question%20this%20lab%20answers%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%3E%22Training%20is%20slow%20and%20it%20keeps%20running%20out%20of%20memory.%20What%20do%20I%20measure%0A%20%20%20%20%20%20%20%20%20%20first%3F%22%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%201%3A%20Four%20runs%2C%20four%20different%20problems%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Run%20A%20below%20is%20the%20one%20from%20the%20first%20page.%20Three%20others%20sit%20beside%20it%2C%20and%20all%20four%0A%20%20%20%20start%2C%20allocate%20memory%2C%20use%20the%20GPU%20and%20produce%20numbers.%20If%20your%20only%20check%20is%20%22did%20it%0A%20%20%20%20start%22%2C%20all%20four%20pass.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-runs%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-run%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3ERun%20A%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cul%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EStarts%20normally%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EMemory%20climbs%20through%20the%20first%20step%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3E%3Ccode%3ECUDA%20out%20of%20memory%3C%2Fcode%3E%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EDies%20inside%20%3Ccode%3Eloss.backward()%3C%2Fcode%3E%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Ful%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-run%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3ERun%20B%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cul%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3E%3Ccode%3Envidia-smi%3C%2Fcode%3E%20shows%2025%25%20utilisation%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EMemory%20at%2060%25%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3ECompletes%20successfully%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3ETakes%20four%20times%20the%20estimate%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Ful%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-run%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3ERun%20C%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cul%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3ELoss%20falls%20for%20~2%2C000%20steps%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EThen%20becomes%20%3Ccode%3Enan%3C%2Fcode%3E%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EEvery%20later%20step%20is%20%3Ccode%3Enan%3C%2Fcode%3E%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Ful%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-run%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3ERun%20D%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cul%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EUtilisation%20steady%20at%2090%25%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3ELoss%20flat%20from%20step%2050%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EAccuracy%20at%20chance%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Ful%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20Sort%20them.%20One%20answer%20each.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20RUN_KINDS%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Resource%3A%20it%20needs%20more%20memory%20than%20the%20device%20has%22%3A%20%22mem%22%2C%0A%20%20%20%20%20%20%20%20%22Throughput%3A%20the%20hardware%20is%20idle%20waiting%20for%20work%22%3A%20%22speed%22%2C%0A%20%20%20%20%20%20%20%20%22Numerical%3A%20the%20arithmetic%20has%20left%20the%20range%20of%20the%20format%22%3A%20%22num%22%2C%0A%20%20%20%20%20%20%20%20%22Correctness%3A%20it%20is%20executing%20perfectly%20and%20not%20learning%22%3A%20%22learn%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20r1%2C%20r1_render%2C%20r1_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Run%20A.**%20Memory%20climbs%2C%20then%20%60CUDA%20out%20of%20memory%60%20inside%20%60loss.backward()%60.%22%2C%0A%20%20%20%20%20%20%20%20RUN_KINDS%2C%20%22mem%22%2C%0A%20%20%20%20%20%20%20%20%22A%20resource%20failure%2C%20and%20the%20location%20is%20the%20useful%20part.%20Forward%20completed%2C%20so%20%22%0A%20%20%20%20%20%20%20%20%22everything%20forward%20needed%20fitted.%20Whatever%20broke%20is%20tied%20to%20backward%3A%20the%20%22%0A%20%20%20%20%20%20%20%20%22activations%20forward%20saved%20for%20the%20gradient%20computation%2C%20and%20backward's%20own%20%22%0A%20%20%20%20%20%20%20%20%22workspace.%20We%20come%20back%20to%20this%20run%20at%20the%20end%20of%20the%20lab.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22r1%22%2C%0A%20%20%20%20)%0A%20%20%20%20r1%0A%20%20%20%20return%20RUN_KINDS%2C%20r1%2C%20r1_render%2C%20r1_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(r1%2C%20r1_render)%3A%0A%20%20%20%20r1_render(r1.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(RUN_KINDS%2C%20ask)%3A%0A%20%20%20%20r2%2C%20r2_render%2C%20r2_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Run%20B.**%2025%20per%20cent%20utilisation%2C%2060%20per%20cent%20memory%2C%20four%20times%20slower%20than%20%22%0A%20%20%20%20%20%20%20%20%22estimated.%22%2C%0A%20%20%20%20%20%20%20%20RUN_KINDS%2C%20%22speed%22%2C%0A%20%20%20%20%20%20%20%20%22A%20throughput%20problem%2C%20and%2025%20per%20cent%20utilisation%20is%20the%20whole%20story%3A%20the%20GPU%20is%20not%20%22%0A%20%20%20%20%20%20%20%20%22struggling%2C%20it%20is%20waiting.%20The%20usual%20culprits%20are%20the%20input%20pipeline%20(too%20few%20%22%0A%20%20%20%20%20%20%20%20%22dataloader%20workers%2C%20decoding%20on%20the%20main%20process%2C%20reading%20many%20small%20files)%2C%20%22%0A%20%20%20%20%20%20%20%20%22synchronous%20host-device%20copies%2C%20or%20a%20model%20decomposed%20into%20so%20many%20small%20kernels%20%22%0A%20%20%20%20%20%20%20%20%22that%20launch%20overhead%20dominates%20the%20arithmetic.%5Cn%5CnOne%20caveat%20worth%20carrying%3A%20%22%0A%20%20%20%20%20%20%20%20%22%60nvidia-smi%60%20utilisation%20means%20'at%20least%20one%20kernel%20was%20resident'%2C%20not%20'the%20%22%0A%20%20%20%20%20%20%20%20%22arithmetic%20units%20were%20busy'.%20A%20run%20doing%20nothing%20but%20tiny%20elementwise%20kernels%20can%20%22%0A%20%20%20%20%20%20%20%20%22read%20100%20per%20cent.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22r2%22%2C%0A%20%20%20%20)%0A%20%20%20%20r2%0A%20%20%20%20return%20r2%2C%20r2_render%2C%20r2_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(r2%2C%20r2_render)%3A%0A%20%20%20%20r2_render(r2.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(RUN_KINDS%2C%20ask)%3A%0A%20%20%20%20r3%2C%20r3_render%2C%20r3_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Run%20C.**%20Loss%20falls%20for%202%2C000%20steps%2C%20then%20goes%20to%20%60nan%60%20and%20never%20recovers.%22%2C%0A%20%20%20%20%20%20%20%20RUN_KINDS%2C%20%22num%22%2C%0A%20%20%20%20%20%20%20%20%22A%20numerical%20failure.%20Something%20overflowed%20or%20divided%20by%20zero%2C%20and%20once%20a%20%60nan%60%20%22%0A%20%20%20%20%20%20%20%20%22exists%20it%20propagates%20through%20every%20operation%20that%20touches%20it%2C%20including%20into%20the%20%22%0A%20%20%20%20%20%20%20%20%22weights%20at%20the%20next%20optimiser%20step%2C%20which%20is%20why%20there%20is%20no%20recovery.%5Cn%5CnIn%20%22%0A%20%20%20%20%20%20%20%20%22FP16%20the%20usual%20cause%20is%20that%20the%20exponent%20range%20runs%20out%3A%20max%20finite%20value%20around%20%22%0A%20%20%20%20%20%20%20%20%2265%2C504%2C%20and%20gradients%20underflow%20to%20zero%20well%20before%20that%20at%20the%20other%20end.%20Loss%20%22%0A%20%20%20%20%20%20%20%20%22scaling%20exists%20for%20exactly%20this.%20BF16%20trades%20mantissa%20bits%20for%20FP32's%20exponent%20%22%0A%20%20%20%20%20%20%20%20%22range%20and%20largely%20removes%20the%20problem.%20Gradient%20clipping%20bounds%20the%20other%20end.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22r3%22%2C%0A%20%20%20%20)%0A%20%20%20%20r3%0A%20%20%20%20return%20r3%2C%20r3_render%2C%20r3_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(r3%2C%20r3_render)%3A%0A%20%20%20%20r3_render(r3.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(RUN_KINDS%2C%20ask)%3A%0A%20%20%20%20r4%2C%20r4_render%2C%20r4_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Run%20D.**%2090%20per%20cent%20utilisation%2C%20loss%20flat%20from%20step%2050%2C%20accuracy%20at%20chance.%22%2C%0A%20%20%20%20%20%20%20%20RUN_KINDS%2C%20%22learn%22%2C%0A%20%20%20%20%20%20%20%20%22A%20correctness%20failure%2C%20and%20the%20hardest%20of%20the%20four%20to%20be%20told%20about%2C%20because%20every%20%22%0A%20%20%20%20%20%20%20%20%22infrastructure%20dashboard%20says%20this%20run%20is%20healthy.%20The%20GPU%20is%20fully%20occupied%20doing%20%22%0A%20%20%20%20%20%20%20%20%22arithmetic%20that%20does%20not%20reduce%20the%20loss.%5Cn%5CnThe%20shortlist%20is%20short%20and%20worth%20%22%0A%20%20%20%20%20%20%20%20%22memorising%3A%20labels%20misaligned%20with%20inputs%20by%20a%20shuffle%20or%20an%20off-by-one%3B%20learning%20%22%0A%20%20%20%20%20%20%20%20%22rate%20orders%20of%20magnitude%20wrong%3B%20parameters%20never%20passed%20to%20the%20optimiser%20or%20left%20%22%0A%20%20%20%20%20%20%20%20%22with%20%60requires_grad%3DFalse%60%3B%20%60model.eval()%60%20never%20switched%20back%20so%20dropout%20and%20%22%0A%20%20%20%20%20%20%20%20%22batchnorm%20behave%20wrongly%3B%20loss%20computed%20on%20a%20detached%20tensor.%20All%20of%20them%20execute%20%22%0A%20%20%20%20%20%20%20%20%22perfectly.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22r4%22%2C%0A%20%20%20%20)%0A%20%20%20%20r4%0A%20%20%20%20return%20r4%2C%20r4_render%2C%20r4_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(r4%2C%20r4_render)%3A%0A%20%20%20%20r4_render(r4.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%202%3A%20The%20execution%20stack%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20You%20write%20a%20model.%20The%20GPU%20does%20not%20run%20a%20model.%20Five%20layers%20sit%20between%20the%20two%2C%20and%0A%20%20%20%20every%20training%20problem%20lives%20in%20one%20of%20them.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-stack%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-layer%20top%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22n%22%3EModel%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22d%22%3EWhat%20you%20wrote.%20Layer%20types%2C%20dimensions%2C%20optimiser%2C%20loss.%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-layer%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22n%22%3EOperations%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22d%22%3EWhat%20that%20becomes%20once%20autograd%20has%20traced%20it%3A%20matrix%20multiplies%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20softmaxes%2C%20layer%20norms%2C%20elementwise%20ops%2C%20in%20a%20specific%20order%2C%20each%20with%20a%0A%20%20%20%20%20%20%20%20%20%20%20%20backward%20counterpart.%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-layer%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22n%22%3ETensors%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22d%22%3EThe%20buffers%20those%20operations%20read%20and%20write.%20Three%20properties%0A%20%20%20%20%20%20%20%20%20%20%20%20matter%3A%20shape%2C%20dtype%2C%20and%20which%20device%20they%20live%20on.%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-layer%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22n%22%3EKernels%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22d%22%3EThe%20GPU%20code%20that%20implements%20each%20operation%3A%20a%20cuBLAS%20GEMM%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20a%20fused%20attention%20kernel%2C%20a%20hand-written%20elementwise%20loop.%20Performance%20varies%20by%0A%20%20%20%20%20%20%20%20%20%20%20%20an%20order%20of%20magnitude%20between%20implementations%20of%20the%20same%20operation.%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-layer%20bottom%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22n%22%3EHardware%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22d%22%3EFinite%20memory%2C%20finite%20bandwidth%2C%20finite%20arithmetic%20throughput%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20and%20it%20can%20only%20work%20on%20data%20that%20has%20already%20arrived.%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20reason%20to%20draw%20it%20is%20that%20errors%20surface%20at%20the%20bottom%20and%20originate%20anywhere.%0A%0A%20%20%20%20%60CUDA%20out%20of%20memory%60%20is%20raised%20by%20the%20allocator%2C%20so%20it%20feels%20like%20a%20hardware%20fact.%20All%20it%0A%20%20%20%20actually%20says%20is%20that%20a%20request%20for%20N%20bytes%20could%20not%20be%20satisfied.%20Why%20the%20request%20was%0A%20%20%20%20that%20size%20is%20a%20question%20about%20the%20model%20(parameter%20count)%2C%20the%20operations%20(an%20attention%0A%20%20%20%20matrix%20of%20size%20%24B%20%5Ctimes%20H%20%5Ctimes%20S%20%5Ctimes%20S%24)%2C%20or%20the%20tensors%20(keeping%20activations%20alive%0A%20%20%20%20for%20backward).%20The%20allocator%20is%20the%20messenger.%0A%0A%20%20%20%20%22Training%20is%20slow%22%20is%20the%20same%20shape.%20It%20is%20a%20complaint%2C%20not%20a%20diagnosis.%20The%20diagnostic%0A%20%20%20%20question%20is%20*where%20is%20the%20time%20going*%2C%20and%20the%20first%20fork%20is%20whether%20the%20GPU%20is%20busy.%20If%0A%20%20%20%20it%20is%20idle%2C%20look%20upward%20at%20what%20is%20failing%20to%20feed%20it.%20If%20it%20is%20busy%2C%20ask%20whether%20the%20work%0A%20%20%20%20is%20arithmetic%20you%20need%20or%20overhead%20you%20could%20remove.%0A%0A%20%20%20%20Today%20covers%20the%20first%20three%20layers%3A%20what%20are%20we%20computing%2C%20how%20much%20arithmetic%20is%20that%2C%0A%20%20%20%20and%20what%20has%20to%20be%20stored.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20c1%2C%20c1_render%2C%20c1_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22A%20colleague%20says%20%5C%22training%20is%20slow%5C%22.%20What%20have%20they%20given%20you%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20hardware%20problem%3B%20the%20GPU%20is%20too%20small%20for%20this%20model%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20symptom%20consistent%20with%20several%20layers%20of%20the%20stack%2C%20which%20the%20next%20measurement%20has%20to%20narrow%20down%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20batch%20size%20problem%22%3A%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%22Slow%20is%20what%20was%20observed.%20The%20candidates%20are%3A%20the%20model%20needs%20far%20more%20arithmetic%20%22%0A%20%20%20%20%20%20%20%20%22than%20anyone%20estimated%3B%20it%20decomposes%20into%20kernels%20too%20small%20to%20amortise%20launch%20%22%0A%20%20%20%20%20%20%20%20%22overhead%3B%20it%20moves%20large%20tensors%20through%20memory%20for%20little%20arithmetic%3B%20the%20kernels%20%22%0A%20%20%20%20%20%20%20%20%22chosen%20are%20poor%3B%20or%20the%20GPU%20is%20idle%20waiting%20on%20the%20input%20pipeline.%20Five%20different%20%22%0A%20%20%20%20%20%20%20%20%22pieces%20of%20work.%20The%20first%20measurement%20that%20separates%20them%20is%20simply%20whether%20the%20GPU%20%22%0A%20%20%20%20%20%20%20%20%22is%20busy.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22c1%22%2C%0A%20%20%20%20)%0A%20%20%20%20c1%0A%20%20%20%20return%20c1%2C%20c1_render%2C%20c1_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(c1%2C%20c1_render)%3A%0A%20%20%20%20c1_render(c1.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%203%3A%20What%20a%20linear%20layer%20costs%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20A%20linear%20layer%20computes%20%24y%20%3D%20%5Csigma(Wx%20%2B%20b)%24.%20Treat%20it%20as%20a%20workload%20rather%20than%20an%0A%20%20%20%20equation%3A%20how%20much%20arithmetic%20does%20it%20generate%2C%20and%20how%20much%20data%20does%20it%20need%3F%0A%0A%20%20%20%20With%20%24n%24%20inputs%20and%20%24m%24%20outputs%2C%20%24W%24%20is%20%24m%20%5Ctimes%20n%24.%20One%20output%20unit%20is%20a%20dot%20product%20of%0A%20%20%20%20length%20%24n%24%3A%20%24n%24%20multiplications%20and%20%24n%24%20additions.%20A%20multiply-and-add%20together%20is%20counted%0A%20%20%20%20as%20one%20**MAC**.%20So%3A%0A%0A%20%20%20%20-%20one%20unit%3A%20%24n%24%20MACs%0A%20%20%20%20-%20the%20layer%3A%20%24m%20%5Ctimes%20n%24%20MACs%0A%20%20%20%20-%20the%20layer%20on%20a%20batch%20of%20%24B%24%3A%20%24B%20%5Ctimes%20m%20%5Ctimes%20n%24%20MACs%0A%0A%20%20%20%20FLOPs%20are%20conventionally%20about%20twice%20the%20MAC%20count%2C%20since%20the%20multiply%20and%20the%20add%20are%0A%20%20%20%20counted%20separately.%20Conventions%20differ%20and%20it%20does%20not%20matter%3B%20what%20matters%20is%20how%20the%0A%20%20%20%20number%20scales%20with%20the%20dimensions.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20saved)%3A%0A%20%20%20%20n_in%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20256%2C%208192%2C%20value%3Dsaved.get(%22n_in%22%2C%204096)%2C%20step%3D256%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22Inputs%20(n)%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20m_out%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20256%2C%208192%2C%20value%3Dsaved.get(%22m_out%22%2C%204096)%2C%20step%3D256%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22Outputs%20(m)%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20b_size%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201%2C%20256%2C%20value%3Dsaved.get(%22b_size%22%2C%2032)%2C%20step%3D1%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22Batch%20(B)%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bn_in%2C%20m_out%2C%20b_size%5D)%0A%20%20%20%20return%20b_size%2C%20m_out%2C%20n_in%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(b_size%2C%20m_out%2C%20n_in)%3A%0A%20%20%20%20macs%20%3D%20b_size.value%20*%20m_out.value%20*%20n_in.value%0A%20%20%20%20flops%20%3D%202%20*%20macs%0A%20%20%20%20weights%20%3D%20m_out.value%20*%20n_in.value%20%2B%20m_out.value%20%20%20%20%20%20%23%20one%20bias%20per%20output%0A%20%20%20%20weight_mb_32%20%3D%20weights%20*%204%20%2F%201e6%0A%20%20%20%20weight_mb_16%20%3D%20weights%20*%202%20%2F%201e6%0A%20%20%20%20return%20flops%2C%20macs%2C%20weight_mb_16%2C%20weight_mb_32%2C%20weights%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20flops%2C%20macs%2C%20mo%2C%20weight_mb_16%2C%20weight_mb_32%2C%20weights)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-grid%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EMACs%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bmacs%20%2F%201e6%3A%2C.0f%7DM%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3EB%20%26times%3B%20m%20%26times%3B%20n%2C%20forward%20only%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EFLOPs%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bflops%20%2F%201e9%3A%2C.2f%7DG%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Etwice%20the%20MACs%20by%20the%20usual%20convention%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EParameters%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bweights%20%2F%201e6%3A%2C.1f%7DM%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Em%20%26times%3B%20n%20weights%20plus%20m%20biases%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EWeights%20in%20memory%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bweight_mb_32%3A%2C.0f%7D%20MB%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3EFP32%3B%20%7Bweight_mb_16%3A%2C.0f%7D%20MB%20at%202%20bytes%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(b_size%2C%20flops%2C%20mo%2C%20weight_mb_32%2C%20weights)%3A%0A%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22One%20line%20of%20Python%2C%20one%20%60torch.nn.Linear%60%2C%20and%20underneath%20it%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bflops%20%2F%201e9%3A%2C.2f%7D%20billion**%20floating-point%20operations%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bweights%20%2F%201e6%3A%2C.1f%7D%20million**%20parameters%20occupying%20**%7Bweight_mb_32%3A%2C.0f%7D%20MB**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22before%20training%20has%20stored%20anything%20of%20its%20own.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20batch%20slider%20is%20at%20**%7Bb_size.value%7D**.%20Raising%20it%20scales%20the%20arithmetic%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22linearly%2C%20and%20it%20scales%20the%20intermediate%20tensors%20that%20have%20to%20stay%20resident%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22linearly%20too.%20The%20second%20effect%20is%20the%20one%20that%20causes%20out-of-memory%20errors%2C%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22it%20is%20Part%205.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Why%20the%20FLOP%20count%20does%20not%20predict%20the%20runtime%0A%0A%20%20%20%20A%20modern%20data-centre%20GPU%20does%20tens%20of%20teraFLOPs%20per%20second.%20A%20billion%20FLOPs%20is%20therefore%0A%20%20%20%20a%20fraction%20of%20a%20millisecond%20of%20arithmetic%2C%20provided%20the%20arithmetic%20units%20never%0A%20%20%20%20have%20to%20wait.%0A%0A%20%20%20%20They%20usually%20wait.%20Every%20operation%20has%20to%20read%20its%20inputs%20from%20memory%20and%20write%20its%20output%0A%20%20%20%20back%2C%20and%20memory%20bandwidth%20is%20finite.%20The%20ratio%20that%20decides%20which%20limit%20binds%20is%0A%20%20%20%20**arithmetic%20intensity**%3A%20FLOPs%20performed%20per%20byte%20moved.%0A%0A%20%20%20%20Compare%20two%20operations%20on%20the%20same%20tensors%3A%0A%0A%20%20%20%20-%20A%20**matrix%20multiply**%20of%20two%20%244096%20%5Ctimes%204096%24%20matrices%20reads%20about%20134%20MB%20and%20performs%0A%20%20%20%20%20%20about%20137%20GFLOPs.%20Roughly%201%2C000%20FLOPs%20per%20byte.%20There%20is%20plenty%20of%20arithmetic%20to%20hide%0A%20%20%20%20%20%20the%20memory%20traffic%20behind%2C%20so%20this%20is%20**compute-bound**%20and%20will%20approach%20the%20hardware's%0A%20%20%20%20%20%20peak%20throughput.%0A%20%20%20%20-%20A%20**GELU**%20applied%20elementwise%20to%20one%20of%20those%20matrices%20reads%2067%20MB%2C%20writes%2067%20MB%20and%0A%20%20%20%20%20%20performs%20a%20handful%20of%20operations%20per%20element.%20Under%201%20FLOP%20per%20byte.%20The%20arithmetic%0A%20%20%20%20%20%20units%20are%20idle%20almost%20the%20whole%20time%20waiting%20on%20memory%2C%20so%20this%20is%20**memory-bound**%20and%0A%20%20%20%20%20%20its%20runtime%20is%20set%20entirely%20by%20bandwidth.%0A%0A%20%20%20%20This%20is%20why%20kernel%20fusion%20matters%20so%20much%20in%20practice%3A%20three%20memory-bound%20elementwise%0A%20%20%20%20operations%20in%20a%20row%20read%20and%20write%20the%20same%20tensor%20three%20times%2C%20and%20fusing%20them%20into%20one%0A%20%20%20%20kernel%20does%20the%20same%20arithmetic%20with%20a%20third%20of%20the%20traffic.%20It%20is%20also%20why%0A%20%20%20%20FlashAttention%20is%20faster%20without%20reducing%20the%20FLOP%20count%20at%20all%2C%20because%20it%20avoids%0A%20%20%20%20materialising%20the%20%24S%20%5Ctimes%20S%24%20attention%20matrix%20in%20high-bandwidth%20memory.%0A%0A%20%20%20%20Plotting%20achieved%20FLOPs%20against%20arithmetic%20intensity%20gives%20you%20the%20**roofline**%20model%3A%20a%0A%20%20%20%20sloped%20region%20where%20bandwidth%20limits%20you%20and%20a%20flat%20region%20where%20arithmetic%20does.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20c2%2C%20c2_render%2C%20c2_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22Two%20operations%20each%20perform%20about%20a%20billion%20FLOPs.%20One%20takes%203%20ms%2C%20the%20other%2040%20ms.%20%22%0A%20%20%20%20%20%20%20%20%22Most%20likely%20explanation%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22One%20of%20the%20FLOP%20counts%20is%20wrong%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20slow%20one%20has%20much%20lower%20arithmetic%20intensity%2C%20so%20it%20is%20bandwidth-bound%20and%20spends%20its%20time%20waiting%20on%20memory%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20fast%20one%20ran%20on%20a%20better%20GPU%22%3A%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%22Arithmetic%20is%20cheap%20on%20a%20GPU%3B%20feeding%20it%20is%20not.%20An%20operation%20doing%20few%20FLOPs%20per%20%22%0A%20%20%20%20%20%20%20%20%22byte%20read%20spends%20most%20of%20its%20time%20on%20memory%20traffic%2C%20with%20the%20arithmetic%20units%20idle%20%22%0A%20%20%20%20%20%20%20%20%22in%20the%20middle%20of%20a%20run%20that%20looks%20fully%20utilised.%20Elementwise%20operations%2C%20%22%0A%20%20%20%20%20%20%20%20%22normalisations%20and%20small%20matrix%20multiplies%20all%20land%20here%2C%20which%20is%20why%20fusing%20them%20%22%0A%20%20%20%20%20%20%20%20%22is%20usually%20the%20biggest%20single%20speedup%20available.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22c2%22%2C%0A%20%20%20%20)%0A%20%20%20%20c2%0A%20%20%20%20return%20c2%2C%20c2_render%2C%20c2_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(c2%2C%20c2_render)%3A%0A%20%20%20%20c2_render(c2.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%204%3A%20Why%20training%20needs%20more%20memory%20than%20inference%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20A%20model%20that%20runs%20happily%20at%20inference%20can%20need%20many%20times%20the%20memory%20to%20train%2C%20and%20the%0A%20%20%20%20reason%20is%20backward.%0A%0A%20%20%20%20At%20inference%2C%20an%20intermediate%20tensor%20can%20be%20freed%20the%20moment%20the%20next%20operation%20has%0A%20%20%20%20consumed%20it.%20Nothing%20will%20ask%20for%20it%20again%2C%20which%20is%20what%20%60torch.no_grad()%60%20tells%20the%0A%20%20%20%20framework%20it%20is%20allowed%20to%20assume.%0A%0A%20%20%20%20During%20training%20it%20will%20be%20asked%20for%20again.%20The%20gradient%20of%20a%20matrix%20multiply%20with%20respect%0A%20%20%20%20to%20%24W%24%20is%20%24%5Cfrac%7B%5Cpartial%20L%7D%7B%5Cpartial%20y%7D%20x%5E%5Ctop%24%2C%20which%20needs%20%24x%24%2C%20the%20input%20from%20the%0A%20%20%20%20forward%20pass.%20So%20autograd%20keeps%20%24x%24%20alive%20from%20the%20moment%20forward%20produces%20it%20until%20backward%0A%20%20%20%20reaches%20that%20node%2C%20which%20is%20most%20of%20the%20step.%0A%0A%20%20%20%20The%20tensors%20are%20not%20larger.%20They%20live%20longer%2C%20and%20peak%20memory%20is%20what%20the%20allocator%20cares%0A%20%20%20%20about.%0A%0A%20%20%20%20This%20is%20why%20you%20can%20hit%20an%20out-of-memory%20error%20without%20touching%20the%20model.%20Raise%20the%20batch%0A%20%20%20%20size%20or%20the%20sequence%20length%20and%20every%20saved%20activation%20grows%20with%20it.%0A%0A%20%20%20%20**Activation%20checkpointing**%20is%20the%20direct%20trade%20against%20this%3A%20discard%20most%20saved%0A%20%20%20%20activations%20and%20recompute%20them%20during%20backward%20from%20a%20few%20retained%20checkpoints.%20Memory%0A%20%20%20%20drops%20substantially%2C%20at%20a%20cost%20of%20roughly%2030%20per%20cent%20extra%20compute.%20Time%20for%20space%2C%20as%20an%0A%20%20%20%20explicit%20choice.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20c3%2C%20c3_render%2C%20c3_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22Why%20does%20training%20need%20far%20more%20memory%20than%20inference%20on%20the%20same%20model%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Training%20uses%20a%20wider%20numeric%20format%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Backward%20needs%20values%20produced%20during%20forward%2C%20so%20they%20stay%20alive%20instead%20of%20being%20freed%20after%20use%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Training%20loads%20the%20dataset%20into%20GPU%20memory%22%3A%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%22At%20inference%20an%20intermediate%20can%20be%20freed%20as%20soon%20as%20it%20is%20consumed.%20In%20training%2C%20%22%0A%20%20%20%20%20%20%20%20%22autograd%20needs%20forward%20values%20to%20compute%20gradients%2C%20so%20they%20stay%20resident%20until%20%22%0A%20%20%20%20%20%20%20%20%22backward%20reaches%20them.%20Same%20tensors%2C%20much%20longer%20lifetimes%2C%20much%20higher%20peak.%20%22%0A%20%20%20%20%20%20%20%20%22Activation%20checkpointing%20trades%20that%20memory%20back%20for%20recomputation.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22c3%22%2C%0A%20%20%20%20)%0A%20%20%20%20c3%0A%20%20%20%20return%20c3%2C%20c3_render%2C%20c3_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(c3%2C%20c3_render)%3A%0A%20%20%20%20c3_render(c3.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%205%3A%20The%20five-term%20memory%20budget%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%22The%20model%20is%208%20GB%20and%20the%20GPU%20has%2024%20GB%2C%20so%20why%20did%20it%20run%20out%20of%20memory%3F%22%20Because%20the%0A%20%20%20%20weights%20are%20one%20of%20five%20claims%20on%20that%2024%20GB%3A%0A%0A%20%20%20%20%3E%20parameters%20%2B%20gradients%20%2B%20optimiser%20state%20%2B%20saved%20activations%20%2B%20workspace%0A%0A%20%20%20%20Which%20term%20dominates%20is%20not%20fixed.%20In%20a%20small%20model%20trained%20on%20long%20sequences%20the%0A%20%20%20%20activations%20are%20most%20of%20it%3B%20in%20a%20large%20model%20on%20short%20sequences%20the%20optimiser%20state%20is.%0A%20%20%20%20And%20it%20is%20the%20**peak**%20that%20matters%2C%20not%20the%20average%2C%20because%20the%20allocator%20fails%20at%20the%0A%20%20%20%20worst%20instant.%0A%0A%20%20%20%20Build%20one.%20Hidden%20size%20and%20depth%20set%20the%20parameter%20count%3B%20batch%20and%20sequence%20length%20do%0A%20%20%20%20not%20change%20the%20model%20at%20all.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20pick%2C%20saved)%3A%0A%20%20%20%20%23%20The%20model's%20shape.%20Parameter%20count%20follows%20from%20it%20rather%20than%20being%20set%0A%20%20%20%20%23%20separately%2C%20so%20the%20thing%20being%20budgeted%20is%20always%20a%20model%20that%20could%20exist.%0A%20%20%20%20hidden%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201024%2C%208192%2C%20value%3Dsaved.get(%22hidden%22%2C%202048)%2C%20step%3D1024%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22Hidden%20size%20(H)%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20layers%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%204%2C%2064%2C%20value%3Dsaved.get(%22layers%22%2C%2016)%2C%20step%3D4%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22Layers%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20_precisions%20%3D%20%7B%22FP32%2C%204%20bytes%22%3A%204%2C%20%22FP16%20or%20BF16%2C%202%20bytes%22%3A%202%7D%0A%20%20%20%20precision%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D_precisions%2C%0A%20%20%20%20%20%20%20%20value%3Dpick(_precisions%2C%20saved.get(%22precision%22))%20or%20%22FP32%2C%204%20bytes%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%20label%3D%22Parameter%20and%20activation%20dtype%22%2C%0A%20%20%20%20)%0A%20%20%20%20_opts%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22SGD%2C%20no%20state%22%3A%200%2C%0A%20%20%20%20%20%20%20%20%22SGD%20with%20momentum%2C%201%20extra%20per%20parameter%22%3A%201%2C%0A%20%20%20%20%20%20%20%20%22Adam%2C%202%20extra%20per%20parameter%22%3A%202%2C%0A%20%20%20%20%7D%0A%20%20%20%20optimiser%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D_opts%2C%0A%20%20%20%20%20%20%20%20value%3Dpick(_opts%2C%20saved.get(%22optimiser%22))%20or%20%22Adam%2C%202%20extra%20per%20parameter%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%20label%3D%22Optimiser%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bhidden%2C%20layers%2C%20precision%2C%20optimiser%5D)%0A%20%20%20%20return%20hidden%2C%20layers%2C%20optimiser%2C%20precision%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20pick%2C%20saved)%3A%0A%20%20%20%20%23%20How%20you%20run%20it.%20None%20of%20these%20change%20the%20model%20by%20a%20single%20parameter.%0A%20%20%20%20batch%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201%2C%2032%2C%20value%3Dsaved.get(%22batch%22%2C%204)%2C%20step%3D1%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22Batch%20(B)%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20seq_len%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20512%2C%208192%2C%20value%3Dsaved.get(%22seq_len%22%2C%201024)%2C%20step%3D512%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22Sequence%20length%20(S)%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20_gpus%20%3D%20%7B%2216%20GB%22%3A%2016%2C%20%2224%20GB%22%3A%2024%2C%20%2240%20GB%22%3A%2040%2C%20%2280%20GB%22%3A%2080%7D%0A%20%20%20%20gpu_gb%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D_gpus%2C%20value%3Dpick(_gpus%2C%20saved.get(%22gpu_gb%22))%20or%20%2224%20GB%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%20label%3D%22Device%20memory%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bbatch%2C%20seq_len%2C%20gpu_gb%5D)%0A%20%20%20%20return%20batch%2C%20gpu_gb%2C%20seq_len%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(batch%2C%20gpu_gb%2C%20hidden%2C%20layers%2C%20optimiser%2C%20precision%2C%20seq_len)%3A%0A%20%20%20%20%23%20First-order%20estimates.%20Good%20enough%20to%20show%20which%20term%20dominates%2C%20which%20is%20the%0A%20%20%20%20%23%20only%20thing%20they%20are%20for.%20The%20accordion%20below%20lists%20what%20they%20leave%20out.%0A%20%20%20%20GB%20%3D%201e9%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20decimal%20GB%2C%20so%20the%20sums%20match%20the%20lecture's%20arithmetic%0A%20%20%20%20PER_LAYER%20%3D%2012%20%20%20%20%20%20%20%20%20%20%20%23%20a%20transformer%20block%20is%20roughly%2012%20x%20H%20x%20H%20parameters%0A%20%20%20%20SAVED_PER_LAYER%20%3D%204%20%20%20%20%20%20%23%20rough%20count%20of%20tensors%20each%20block%20keeps%20for%20backward%0A%20%20%20%20WORKSPACE_GB%20%3D%201.0%20%20%20%20%20%20%20%23%20flat%20allowance%20for%20temporary%20buffers%20and%20fragmentation%0A%0A%20%20%20%20params%20%3D%20PER_LAYER%20*%20hidden.value%20*%20hidden.value%20*%20layers.value%0A%20%20%20%20param_gb%20%3D%20params%20*%20precision.value%20%2F%20GB%0A%20%20%20%20grad_gb%20%3D%20params%20*%20precision.value%20%2F%20GB%0A%20%20%20%20%23%20Optimiser%20state%20is%20normally%20kept%20in%20FP32%20even%20in%20a%20mixed-precision%20run%2C%20which%20is%0A%20%20%20%20%23%20why%20moving%20the%20dtype%20to%202%20bytes%20does%20not%20halve%20this%20term.%0A%20%20%20%20opt_gb%20%3D%20params%20*%204%20*%20optimiser.value%20%2F%20GB%0A%20%20%20%20act_gb%20%3D%20(batch.value%20*%20seq_len.value%20*%20hidden.value%20*%20layers.value%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20*%20SAVED_PER_LAYER%20*%20precision.value)%20%2F%20GB%0A%20%20%20%20work_gb%20%3D%20WORKSPACE_GB%0A%0A%20%20%20%20total_gb%20%3D%20param_gb%20%2B%20grad_gb%20%2B%20opt_gb%20%2B%20act_gb%20%2B%20work_gb%0A%20%20%20%20budget_gb%20%3D%20float(gpu_gb.value)%0A%20%20%20%20fits%20%3D%20total_gb%20%3C%3D%20budget_gb%0A%20%20%20%20headroom%20%3D%20budget_gb%20-%20total_gb%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20act_gb%2C%0A%20%20%20%20%20%20%20%20budget_gb%2C%0A%20%20%20%20%20%20%20%20fits%2C%0A%20%20%20%20%20%20%20%20grad_gb%2C%0A%20%20%20%20%20%20%20%20headroom%2C%0A%20%20%20%20%20%20%20%20opt_gb%2C%0A%20%20%20%20%20%20%20%20param_gb%2C%0A%20%20%20%20%20%20%20%20params%2C%0A%20%20%20%20%20%20%20%20total_gb%2C%0A%20%20%20%20%20%20%20%20work_gb%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo%2C%20params)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-grid%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EA%20model%20that%20shape%20has%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bparams%20%2F%201e9%3A%2C.2f%7DB%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Eparameters%2C%20at%20roughly%2012%20%26times%3B%20H%20%26times%3B%20H%20per%20block%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20act_gb%2C%20grad_gb%2C%20mo%2C%20opt_gb%2C%20param_gb%2C%20total_gb%2C%20work_gb)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20_parts%20%3D%20%5B(%22p%22%2C%20%22parameters%22%2C%20param_gb)%2C%20(%22g%22%2C%20%22gradients%22%2C%20grad_gb)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%22o%22%2C%20%22optimiser%20state%22%2C%20opt_gb)%2C%20(%22a%22%2C%20%22activations%22%2C%20act_gb)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%22w%22%2C%20%22workspace%22%2C%20work_gb)%5D%0A%20%20%20%20_segs%20%3D%20%22%22%0A%20%20%20%20for%20_cls%2C%20_name%2C%20_v%20in%20_parts%3A%0A%20%20%20%20%20%20%20%20_pct%20%3D%20_v%20%2F%20total_gb%20*%20100%20if%20total_gb%20else%200%0A%20%20%20%20%20%20%20%20_label%20%3D%20f%22%7B_pct%3A.0f%7D%25%22%20if%20_pct%20%3E%3D%207%20else%20%22%22%0A%20%20%20%20%20%20%20%20_segs%20%2B%3D%20f'%3Cspan%20class%3D%22%7B_cls%7D%22%20style%3D%22width%3A%7B_pct%3A.2f%7D%25%22%3E%7B_label%7D%3C%2Fspan%3E'%0A%20%20%20%20_key%20%3D%20%22%22.join(%0A%20%20%20%20%20%20%20%20f'%3Cspan%3E%3Ci%20style%3D%22background%3A%7B_c%7D%22%3E%3C%2Fi%3E%7B_n%7D%20%26middot%3B%20%7B_v%3A.1f%7D%20GB%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20for%20(_cls%2C%20_n%2C%20_v)%2C%20_c%20in%20zip(%0A%20%20%20%20%20%20%20%20%20%20%20%20_parts%2C%20%5B%22%234a6fa5%22%2C%20%22%237cb47f%22%2C%20%22%23f1b82d%22%2C%20%22%23c87f5a%22%2C%20%22%239a9a9a%22%5D)%0A%20%20%20%20)%0A%20%20%20%20mo.Html(f'%3Cdiv%20class%3D%22w6-budget%22%3E%7B_segs%7D%3C%2Fdiv%3E%3Cdiv%20class%3D%22w6-key%22%3E%7B_key%7D%3C%2Fdiv%3E')%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20budget_gb%2C%20fits%2C%20headroom%2C%20mo%2C%20total_gb)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20_pct%20%3D%20min(100.0%2C%20total_gb%20%2F%20budget_gb%20*%20100)%20if%20budget_gb%20else%200%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-bars%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-bar%20%7B'good'%20if%20fits%20else%20'bad'%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22t%22%3EPeak%20memory%20required%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22track%22%3E%3Cspan%20class%3D%22fill%22%20style%3D%22width%3A%7B_pct%3A.1f%7D%25%22%3E%3C%2Fspan%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22n%22%3E%7Btotal_gb%3A.1f%7D%20GB%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cp%20class%3D%22w6-note%22%3EThe%20bar%20fills%20at%20%7Bbudget_gb%3A.0f%7D%20GB.%0A%20%20%20%20%20%20%20%20%7Bformat(headroom%2C%20'.1f')%20%2B%20'%20GB%20spare.'%0A%20%20%20%20%20%20%20%20%20if%20fits%20else%20'Over%20by%20'%20%2B%20format(-headroom%2C%20'.1f')%20%2B%20'%20GB.'%7D%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(act_gb%2C%20fits%2C%20headroom%2C%20mo%2C%20opt_gb%2C%20param_gb%2C%20total_gb)%3A%0A%20%20%20%20_biggest%20%3D%20max(%5B(%22the%20parameters%22%2C%20param_gb)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%22the%20optimiser%20state%22%2C%20opt_gb)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(%22the%20saved%20activations%22%2C%20act_gb)%5D%2C%20key%3Dlambda%20p%3A%20p%5B1%5D)%0A%20%20%20%20if%20not%20fits%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Over%20budget%20by%20%7B-headroom%3A.1f%7D%20GB.%20Before%20changing%20anything%2C%20read%20which%20term%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22responsible%3A%20the%20largest%20single%20consumer%20is%20**%7B_biggest%5B0%5D%7D**%20at%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_biggest%5B1%5D%3A.1f%7D%20GB%20of%20%7Btotal_gb%3A.1f%7D%20GB.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22That%20determines%20the%20fix.%20Activations%20dominating%20means%20batch%20size%2C%20sequence%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22length%20and%20checkpointing%20are%20your%20levers%20and%20the%20model%20can%20stay%20as%20it%20is.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Optimiser%20state%20dominating%20means%20a%20different%20optimiser%20or%20sharding%20buys%20more%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22than%20any%20amount%20of%20batch-size%20tuning.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_kind%20%3D%20%22danger%22%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Fits%2C%20with%20%7Bheadroom%3A.1f%7D%20GB%20spare%20of%20%7Btotal_gb%3A.1f%7D%20GB%20used.%20Largest%20single%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22consumer%3A%20**%7B_biggest%5B0%5D%7D**%20at%20%7B_biggest%5B1%5D%3A.1f%7D%20GB.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Two%20things%20worth%20trying.%20Double%20the%20sequence%20length%20twice%20and%20watch%20where%20it%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22breaks%2C%20with%20the%20model%20untouched.%20Then%20switch%20the%20dtype%20to%202%20bytes%20and%20notice%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22that%20the%20optimiser%20term%20does%20not%20move.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%22The%20five%20terms%20in%20detail%2C%20and%20what%20this%20estimate%20leaves%20out%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20**Parameters.**%20One%20value%20each%2C%20in%20whatever%20dtype%20you%20chose.%20Fixed%20once%20the%20architecture%20is.%0A%0A%20%20%20%20**Gradients.**%20One%20per%20trainable%20parameter%2C%20normally%20the%20same%20dtype.%20Assume%20it%20doubles%20the%0A%20%20%20%20parameter%20cost%20unless%20you%20are%20freezing%20most%20of%20the%20model%20or%20using%20LoRA%2C%20where%20only%20the%0A%20%20%20%20adapter%20parameters%20get%20gradients.%0A%0A%20%20%20%20**Optimiser%20state.**%20The%20term%20people%20forget%2C%20and%20often%20the%20largest.%20SGD%20keeps%20nothing%3B%0A%20%20%20%20momentum%20keeps%20one%20buffer%3B%20Adam%20keeps%20two%20(the%20first%20and%20second%20moment%20estimates%2C%20%60exp_avg%60%0A%20%20%20%20and%20%60exp_avg_sq%60).%20These%20are%20normally%20kept%20in%20FP32%20regardless%20of%20your%20training%20dtype%2C%20which%0A%20%20%20%20is%20why%20switching%20to%20BF16%20does%20not%20halve%20this%20term.%0A%0A%20%20%20%20The%20commonly%20quoted%20figure%20follows%20from%20this%3A%20for%20FP32%20Adam%2C%204%20bytes%20of%20weight%20%2B%204%20of%0A%20%20%20%20gradient%20%2B%208%20of%20optimiser%20state%20%3D%2016%20bytes%20per%20parameter.%20A%20billion%20parameters%20is%20about%2016%20GB%0A%20%20%20%20before%20a%20single%20activation%20exists.%20Mixed%20precision%20does%20not%20reduce%20it%20as%20much%20as%20people%0A%20%20%20%20expect%2C%20because%20it%20adds%20an%20FP32%20master%20copy%20of%20the%20weights.%0A%0A%20%20%20%20**Activations.**%20The%20only%20term%20determined%20by%20how%20you%20run%20the%20model%20rather%20than%20what%20it%20is.%0A%20%20%20%20For%20one%20tensor%20it%20is%20just%20elements%20%C3%97%20bytes.%20Sequence%20length%20bites%20hardest%2C%20and%20in%20attention%0A%20%20%20%20it%20can%20bite%20quadratically%3A%20a%20naive%20implementation%20materialises%20a%20%24B%20%5Ctimes%20%5Ctext%7Bheads%7D%20%5Ctimes%0A%20%20%20%20S%20%5Ctimes%20S%24%20matrix%2C%20which%20at%20S%20%3D%208192%20is%20enormous.%20FlashAttention%20avoids%20materialising%20it%2C%0A%20%20%20%20which%20is%20why%20the%20quadratic%20term%20often%20does%20not%20appear%20in%20practice%20any%20more.%0A%0A%20%20%20%20**Workspace.**%20Temporary%20buffers%20that%20kernels%20need%2C%20plus%20fragmentation.%20Worth%20knowing%20that%0A%20%20%20%20%60torch.cuda.memory_allocated()%60%20and%20%60memory_reserved()%60%20differ%3A%20the%20caching%20allocator%20holds%0A%20%20%20%20onto%20freed%20blocks%2C%20so%20you%20can%20get%20an%20OOM%20with%20gigabytes%20%22free%22%20if%20nothing%20is%20a%20contiguous%0A%20%20%20%20block%20of%20the%20right%20size.%0A%0A%20%20%20%20**What%20this%20calculator%20leaves%20out.**%20Mixed%20precision's%20FP32%20master%20weights.%20ZeRO%20and%20FSDP%0A%20%20%20%20sharding%2C%20which%20split%20optimiser%20state%2C%20gradients%20and%20parameters%20across%20devices.%20Activation%0A%20%20%20%20checkpointing.%20Gradient%20accumulation%2C%20which%20gives%20you%20a%20large%20effective%20batch%20at%20the%0A%20%20%20%20activation%20cost%20of%20a%20small%20one.%20Every%20one%20of%20those%20changes%20the%20sums.%0A%0A%20%20%20%20Do%20not%20memorise%20sixteen%20bytes%20per%20parameter.%20Memorise%20**which%20five%20things%20to%20count**%2C%20then%20go%0A%20%20%20%20and%20measure%20the%20real%20ones.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%7D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20c4%2C%20c4_render%2C%20c4_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22A%20run%20has%20been%20stable%20for%20weeks.%20You%20change%20nothing%20in%20the%20model%2C%20double%20the%20sequence%20%22%0A%20%20%20%20%20%20%20%20%22length%2C%20and%20it%20now%20runs%20out%20of%20memory.%20Which%20term%20grew%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Parameters%2C%20because%20longer%20sequences%20need%20a%20larger%20model%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Saved%20activations%2C%20because%20every%20intermediate%20tensor%20scales%20with%20sequence%20length%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Optimiser%20state%2C%20because%20there%20is%20more%20to%20optimise%22%3A%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%22Parameters%2C%20gradients%20and%20optimiser%20state%20are%20all%20determined%20by%20the%20architecture%2C%20and%20%22%0A%20%20%20%20%20%20%20%20%22the%20architecture%20did%20not%20change.%20Activations%20scale%20with%20batch%20%C3%97%20sequence%20length%20%C3%97%20%22%0A%20%20%20%20%20%20%20%20%22hidden%20size%20%C3%97%20layers%2C%20so%20doubling%20S%20at%20least%20doubles%20that%20term%2C%20and%20more%20than%20%22%0A%20%20%20%20%20%20%20%20%22doubles%20it%20if%20attention%20materialises%20an%20S%20%C3%97%20S%20matrix.%20This%20is%20why%20an%20out-of-memory%20error%20can%20appear%20from%20a%20%22%0A%20%20%20%20%20%20%20%20%22config%20change%20that%20touches%20no%20model%20code.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22c4%22%2C%0A%20%20%20%20)%0A%20%20%20%20c4%0A%20%20%20%20return%20c4%2C%20c4_render%2C%20c4_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(c4%2C%20c4_render)%3A%0A%20%20%20%20c4_render(c4.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%206%3A%20Run%20A%2C%20properly%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-question%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22lbl%22%3EThe%20run%20from%20the%20first%20page%2C%20in%20full%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%3E%2224%20GB%20device.%20Weights%20occupy%207%20GB.%20The%20forward%20pass%20completes%20every%20time.%20The%0A%20%20%20%20%20%20%20%20%20%20run%20dies%20with%20%3Ccode%3ECUDA%20out%20of%20memory%3C%2Fcode%3E%20inside%20%3Ccode%3Eloss.backward()%3C%2Fcode%3E%2C%0A%20%20%20%20%20%20%20%20%20%20at%20the%20same%20point%20every%20time%2C%20on%20the%20first%20iteration.%22%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20You%20now%20have%20the%20five%20terms%2C%20so%20the%20two%20facts%20in%20that%20description%20can%20do%20their%20work.%0A%0A%20%20%20%20**Seven%20GB%20cannot%20explain%20a%2024%20GB%20failure.**%20Something%20consumed%20the%20other%20seventeen%2C%20and%0A%20%20%20%20it%20was%20not%20the%20weights.%0A%0A%20%20%20%20**Forward%20completed.**%20Everything%20forward%20needed%20fitted.%20The%20failure%20is%20specific%20to%0A%20%20%20%20backward%2C%20which%20points%20at%20the%20two%20terms%20that%20exist%20only%20because%20you%20are%20training%3A%20the%0A%20%20%20%20activations%20forward%20saved%2C%20and%20backward's%20own%20workspace.%0A%0A%20%20%20%20That%20is%20a%20hypothesis.%20Now%20choose%20an%20experiment%2C%20and%20commit%20in%20advance%20to%20what%20each%20outcome%0A%20%20%20%20would%20mean.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20pick%2C%20saved)%3A%0A%20%20%20%20_saved%20%3D%20saved.get(%22decision%22)%20or%20%7B%7D%0A%20%20%20%20_choices%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Halve%20the%20batch%20size%20and%20rerun%22%3A%20%22batch%22%2C%0A%20%20%20%20%20%20%20%20%22Switch%20Adam%20for%20SGD%20to%20free%20the%20optimiser%20state%22%3A%20%22optim%22%2C%0A%20%20%20%20%20%20%20%20%22Move%20to%20a%20larger%20device%22%3A%20%22gpu%22%2C%0A%20%20%20%20%20%20%20%20%22Reduce%20the%20model%20size%20until%20it%20fits%22%3A%20%22model%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20decision_form%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%7Bchoice%7D%0A%0A%20%20%20%20%20%20%20%20%7Bwhy%7D%0A%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20.batch(%0A%20%20%20%20%20%20%20%20%20%20%20%20choice%3Dmo.ui.radio(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20options%3D_choices%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3Dpick(_choices%2C%20_saved.get(%22choice%22))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Your%20first%20experiment%3F**%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20why%3Dmo.ui.text_area(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3D_saved.get(%22why%22%2C%20%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20placeholder%3D%22What%20you%20expect%2C%20and%20what%20you%20would%20conclude%20if%20it%20worked%20and%20if%20it%20did%20not.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Why%20that%20one%2C%20and%20what%20does%20each%20outcome%20rule%20out%3F**%20Not%20marked%3B%20change%20it%20as%20often%20as%20you%20like.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows%3D4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.form(%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_label%3D%22Submit%20my%20decision%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20validate%3Dlambda%20v%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Choose%20one%20of%20the%20four.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20v%20or%20v.get(%22choice%22)%20is%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22Write%20your%20reasoning%2C%20then%20submit.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20(v.get(%22why%22)%20or%20%22%22).strip()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20decision_form%0A%20%20%20%20return%20(decision_form%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(decision_form%2C%20mo%2C%20saved)%3A%0A%20%20%20%20_answer%20%3D%20decision_form.value%20or%20saved.get(%22decision%22)%0A%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20not%20_answer%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Pick%20an%20answer%2C%20say%20why%2C%20then%20press%20**Submit%20my%20decision**.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22)%2C%0A%20%20%20%20)%0A%20%20%20%20decision_choice%20%3D%20_answer%5B%22choice%22%5D%0A%20%20%20%20decision_why%20%3D%20_answer%5B%22why%22%5D.strip()%0A%20%20%20%20return%20decision_choice%2C%20decision_why%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(decision_choice%2C%20mo)%3A%0A%20%20%20%20_notes%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22batch%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20cheapest%20experiment%20that%20separates%20the%20hypotheses%2C%20and%20it%20matches%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22evidence.%20Activation%20memory%20scales%20with%20batch%20size%3B%20parameters%2C%20gradients%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22optimiser%20state%20do%20not.%20So%20the%20result%20is%20informative%20either%20way.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22If%20halving%20fixes%20it%2C%20the%20dominant%20term%20scales%20with%20batch%20size%2C%20which%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22overwhelmingly%20saved%20activations%2C%20and%20you%20now%20have%20a%20real%20choice%20between%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22gradient%20accumulation%20and%20activation%20checkpointing.%20If%20it%20barely%20moves%2C%20you%20have%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22learned%20something%20equally%20useful%3A%20it%20is%20not%20activations%2C%20so%20look%20at%20optimiser%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22state%20and%20backward%20workspace%20instead.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22optim%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22It%20will%20free%20real%20memory%2C%20but%20look%20at%20the%20timing%20again.%20Optimiser%20state%20for%20Adam%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22is%20lazily%20allocated%20at%20the%20first%20%60step()%60%2C%20which%20this%20run%20never%20reaches.%20So%20it%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22may%20well%20get%20the%20run%20going%20without%20telling%20you%20why%2C%20and%20you%20will%20not%20know%20whether%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22you%20fixed%20the%20cause%20or%20just%20bought%20headroom.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22There%20is%20a%20cost%20too%3A%20changing%20optimiser%20changes%20how%20the%20model%20trains%2C%20not%20only%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22how%20much%20memory%20it%20needs.%20If%20you%20want%20the%20memory%20without%20the%20training%20change%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%228-bit%20Adam%20or%20sharding%20the%20optimiser%20state%20are%20better%20trades.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22gpu%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22It%20will%20probably%20work%2C%20and%20occasionally%20it%20is%20the%20right%20call%3A%20some%20runs%20are%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22simply%20too%20large%20for%20the%20hardware%20and%20the%20cheapest%20fix%20is%20hardware.%20But%20you%20will%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22have%20spent%20money%20without%20learning%20which%20term%20was%20responsible%2C%20and%20the%20next%20person%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22to%20raise%20the%20sequence%20length%20will%20be%20in%20exactly%20this%20position%20on%20the%20larger%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22device.%20Price%20it%20after%20the%20diagnosis%2C%20not%20instead%20of%20one.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22model%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22This%20treats%20the%207%20GB%20of%20weights%20as%20the%20cause%20of%20a%2024%20GB%20failure%2C%20and%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22arithmetic%20says%20otherwise%3A%20seventeen%20GB%20went%20somewhere%20else.%20Shrinking%20the%20model%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22reduces%20parameters%2C%20gradients%20and%20optimiser%20state%20together%2C%20so%20it%20may%20well%20work%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22but%20it%20is%20the%20most%20expensive%20way%20to%20find%20out%20and%20it%20costs%20you%20model%20quality%20to%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22fix%20something%20the%20model%20was%20not%20responsible%20for.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%7D%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20On%20your%20answer%22)%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(_notes%5Bdecision_choice%5D)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20shape%20of%20the%20question%20matters%20more%20than%20the%20answer%3A%20**a%20good%20experiment%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22one%20where%20you%20can%20state%20beforehand%20what%20each%20outcome%20rules%20out.**%20Changing%20three%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22things%20at%20once%20until%20the%20error%20stops%20does%20stop%20the%20error%2C%20and%20teaches%20you%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22nothing.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20One%20detail%20in%20the%20brief%20that%20changes%20everything%0A%0A%20%20%20%20It%20fails%20**on%20the%20first%20iteration**.%20If%20instead%20memory%20had%20crept%20up%20every%20iteration%2C%20that%0A%20%20%20%20is%20a%20different%20problem%20with%20a%20much%20more%20specific%20cause%3A%20something%20is%20being%20retained%20that%0A%20%20%20%20should%20have%20been%20released.%0A%0A%20%20%20%20The%20classic%20version%20is%20accumulating%20the%20loss%20for%20logging%20without%20detaching%20it%3A%0A%20%20%20%20%60total%20%2B%3D%20loss%60%20instead%20of%20%60total%20%2B%3D%20loss.item()%60.%20The%20tensor%20keeps%20a%20reference%20to%20its%0A%20%20%20%20whole%20computation%20graph%2C%20so%20every%20step's%20graph%20stays%20alive%20and%20memory%20grows%20linearly%20with%0A%20%20%20%20step%20count.%20Others%3A%20caching%20hidden%20states%20across%20steps%20without%20%60detach()%60%2C%20appending%0A%20%20%20%20predictions%20to%20a%20list%20for%20later%20evaluation%2C%20holding%20a%20reference%20to%20a%20batch%20after%20the%20step.%0A%0A%20%20%20%20A%20run%20that%20fails%20at%20a%20fixed%20point%20is%20a%20budget%20that%20is%20too%20small.%20A%20run%20that%20fails%20later%0A%20%20%20%20each%20time%20is%20a%20leak.%20They%20need%20different%20work.%0A%0A%20%20%20%20%23%23%23%20Then%20measure%20rather%20than%20guess%0A%0A%20%20%20%20Before%20reaching%20for%20a%20fix%3A%0A%0A%20%20%20%20%7C%20What%20to%20ask%20%7C%20How%20%7C%0A%20%20%20%20%7C%20-%20%7C%20-%20%7C%0A%20%20%20%20%7C%20What%20was%20the%20peak%2C%20and%20when%3F%20%7C%20%60torch.cuda.max_memory_allocated()%60%2C%20reset%20per%20phase%20with%20%60reset_peak_memory_stats()%60%20%7C%0A%20%20%20%20%7C%20Allocated%20versus%20reserved%3F%20%7C%20%60torch.cuda.memory_summary()%60%2C%20where%20a%20large%20gap%20means%20fragmentation%20rather%20than%20demand%20%7C%0A%20%20%20%20%7C%20Which%20tensors%20and%20what%20shapes%3F%20%7C%20%60torch.cuda.memory._record_memory_history()%60%2C%20then%20the%20PyTorch%20memory%20visualiser%20%7C%0A%20%20%20%20%7C%20Where%20is%20the%20time%20going%3F%20%7C%20%60torch.profiler%60%20with%20%60record_shapes%3DTrue%60%20%7C%0A%0A%20%20%20%20Then%20put%20those%20numbers%20against%20the%20five%20terms%20and%20see%20which%20one%20you%20mis-estimated.%0A%20%20%20%20That%20move%2C%20from%20vague%20runtime%20symptom%20to%20measurable%20resource%20question%2C%20is%20the%20whole%20lab.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(decision_choice%2C%20locked%2C%20mo%2C%20saved)%3A%0A%20%20%20%20_%20%3D%20decision_choice%0A%20%20%20%20_saved%20%3D%20saved.get(%22reflection%22)%20or%20%7B%7D%0A%20%20%20%20reflect_form%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.md(%22%7Btakeaway%7D%22)%0A%20%20%20%20%20%20%20%20.batch(%0A%20%20%20%20%20%20%20%20%20%20%20%20takeaway%3Dmo.ui.text_area(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3D_saved.get(%22takeaway%22%2C%20%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20placeholder%3D%22I%20would%20measure%20...%20and%20a%20reading%20of%20...%20would%20point%20me%20at%20...%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Last%20one.**%20Take%20Run%20B%2C%20at%2025%20per%20cent%20utilisation.%20Name%20one%20thing%20you%20would%20measure%2C%20and%20say%20what%20reading%20would%20point%20you%20at%20a%20specific%20layer%20of%20the%20stack.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows%3D4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.form(%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_label%3D%22Finish%20the%20lab%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20validate%3Dlambda%20v%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20None%20if%20v%20and%20(v.get(%22takeaway%22)%20or%20%22%22).strip()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22Write%20a%20sentence%20or%20two%2C%20then%20submit.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20reflect_form%0A%20%20%20%20return%20(reflect_form%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20reflect_form%2C%20saved)%3A%0A%20%20%20%20_answer%20%3D%20reflect_form.value%20or%20saved.get(%22reflection%22)%0A%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20not%20_answer%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Answer%20the%20last%20question%20to%20finish%20the%20lab.%22)%2C%20kind%3D%22warn%22)%2C%0A%20%20%20%20)%0A%20%20%20%20takeaway_text%20%3D%20_answer%5B%22takeaway%22%5D.strip()%0A%20%20%20%20done%20%3D%20True%0A%20%20%20%20return%20done%2C%20takeaway_text%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20b_size%2C%0A%20%20%20%20batch%2C%0A%20%20%20%20c1%2C%0A%20%20%20%20c2%2C%0A%20%20%20%20c3%2C%0A%20%20%20%20c4%2C%0A%20%20%20%20decision_form%2C%0A%20%20%20%20gpu_gb%2C%0A%20%20%20%20hidden%2C%0A%20%20%20%20lab_sync%2C%0A%20%20%20%20layers%2C%0A%20%20%20%20m_out%2C%0A%20%20%20%20n_in%2C%0A%20%20%20%20optimiser%2C%0A%20%20%20%20precision%2C%0A%20%20%20%20r1%2C%0A%20%20%20%20r2%2C%0A%20%20%20%20r3%2C%0A%20%20%20%20r4%2C%0A%20%20%20%20seq_len%2C%0A)%3A%0A%20%20%20%20%23%20Marked%20answers%20go%20through%20record_once%2C%20so%20the%20first%20answer%20is%20the%20one%20that%0A%20%20%20%20%23%20counts.%20Sliders%20and%20the%20written%20decision%20can%20change%20freely.%0A%20%20%20%20if%20lab_sync%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20lab_sync.record_once(%0A%20%20%20%20%20%20%20%20%20%20%20%20r1%3Dr1.value%2C%20r2%3Dr2.value%2C%20r3%3Dr3.value%2C%20r4%3Dr4.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20c1%3Dc1.value%2C%20c2%3Dc2.value%2C%20c3%3Dc3.value%2C%20c4%3Dc4.value%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20lab_sync.record(%0A%20%20%20%20%20%20%20%20%20%20%20%20n_in%3Dn_in.value%2C%20m_out%3Dm_out.value%2C%20b_size%3Db_size.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20precision%3Dprecision.value%2C%20optimiser%3Doptimiser.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20batch%3Dbatch.value%2C%20seq_len%3Dseq_len.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20hidden%3Dhidden.value%2C%20layers%3Dlayers.value%2C%20gpu_gb%3Dgpu_gb.value%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20decision_form.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20lab_sync.record(decision%3Ddecision_form.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(lab_sync%2C%20reflect_form)%3A%0A%20%20%20%20%23%20This%20form%20only%20exists%20once%20the%20decision%20is%20in%2C%20so%20it%20is%20recorded%20here.%0A%20%20%20%20if%20lab_sync%20is%20not%20None%20and%20reflect_form.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20lab_sync.record(reflection%3Dreflect_form.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20c1%2C%0A%20%20%20%20c1_sum%2C%0A%20%20%20%20c2%2C%0A%20%20%20%20c2_sum%2C%0A%20%20%20%20c3%2C%0A%20%20%20%20c3_sum%2C%0A%20%20%20%20c4%2C%0A%20%20%20%20c4_sum%2C%0A%20%20%20%20r1%2C%0A%20%20%20%20r1_sum%2C%0A%20%20%20%20r2%2C%0A%20%20%20%20r2_sum%2C%0A%20%20%20%20r3%2C%0A%20%20%20%20r3_sum%2C%0A%20%20%20%20r4%2C%0A%20%20%20%20r4_sum%2C%0A)%3A%0A%20%20%20%20%23%20One%20place%20that%20knows%20every%20marked%20answer%2C%20so%20the%20report%2C%20the%20score%20and%20the%0A%20%20%20%20%23%20dashboard%20cannot%20disagree.%0A%20%20%20%20CHECKS%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22Run%20A%3A%20out%20of%20memory%20in%20backward%22%2C%20r1_sum(r1.value))%2C%0A%20%20%20%20%20%20%20%20(%22Run%20B%3A%2025%20per%20cent%20utilisation%22%2C%20r2_sum(r2.value))%2C%0A%20%20%20%20%20%20%20%20(%22Run%20C%3A%20loss%20goes%20to%20nan%22%2C%20r3_sum(r3.value))%2C%0A%20%20%20%20%20%20%20%20(%22Run%20D%3A%20busy%20and%20not%20learning%22%2C%20r4_sum(r4.value))%2C%0A%20%20%20%20%20%20%20%20(%22%5C%22Training%20is%20slow%5C%22%22%2C%20c1_sum(c1.value))%2C%0A%20%20%20%20%20%20%20%20(%22Same%20FLOPs%2C%20different%20runtime%22%2C%20c2_sum(c2.value))%2C%0A%20%20%20%20%20%20%20%20(%22Training%20vs%20inference%20memory%22%2C%20c3_sum(c3.value))%2C%0A%20%20%20%20%20%20%20%20(%22Longer%20sequences%3A%20which%20term%22%2C%20c4_sum(c4.value))%2C%0A%20%20%20%20%5D%0A%20%20%20%20checks_right%20%3D%20sum(1%20for%20_n%2C%20(_t%2C%20_ok)%20in%20CHECKS%20if%20_ok)%0A%20%20%20%20checks_score%20%3D%20f%22%7Bchecks_right%7D%2F%7Blen(CHECKS)%7D%22%0A%20%20%20%20return%20CHECKS%2C%20checks_right%2C%20checks_score%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20CHECKS%2C%0A%20%20%20%20LAB_CSS%2C%0A%20%20%20%20act_gb%2C%0A%20%20%20%20budget_gb%2C%0A%20%20%20%20checks_score%2C%0A%20%20%20%20decision_choice%2C%0A%20%20%20%20decision_why%2C%0A%20%20%20%20done%2C%0A%20%20%20%20fits%2C%0A%20%20%20%20flops%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20opt_gb%2C%0A%20%20%20%20params%2C%0A%20%20%20%20takeaway_text%2C%0A%20%20%20%20total_gb%2C%0A)%3A%0A%20%20%20%20_%20%3D%20(LAB_CSS%2C%20done)%0A%20%20%20%20_what%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22batch%22%3A%20%22Halve%20the%20batch%20size%22%2C%0A%20%20%20%20%20%20%20%20%22optim%22%3A%20%22Switch%20Adam%20for%20SGD%22%2C%0A%20%20%20%20%20%20%20%20%22gpu%22%3A%20%22Move%20to%20a%20larger%20device%22%2C%0A%20%20%20%20%20%20%20%20%22model%22%3A%20%22Reduce%20the%20model%20size%22%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20def%20_mark(entry)%3A%0A%20%20%20%20%20%20%20%20_text%2C%20_ok%20%3D%20entry%0A%20%20%20%20%20%20%20%20if%20_ok%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20'%3Cspan%20class%3D%22cross%22%3Enot%20answered%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20_icon%20%3D%20'%3Cspan%20class%3D%22tick%22%3Eright%3C%2Fspan%3E'%20if%20_ok%20else%20'%3Cspan%20class%3D%22cross%22%3Ewrong%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20return%20f%22%7B_text%7D%20%26middot%3B%20%7B_icon%7D%22%0A%0A%20%20%20%20_rows%20%3D%20%22%22.join(%0A%20%20%20%20%20%20%20%20f'%3Cdiv%20class%3D%22row%22%3E%3Cspan%20class%3D%22k%22%3E%7B_name%7D%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20f'%3Cspan%20class%3D%22v%22%3E%7B_mark(_entry)%7D%3C%2Fspan%3E%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20for%20_name%2C%20_entry%20in%20CHECKS%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Your%20Week%206%20report%22)%2C%0A%20%20%20%20%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w6-report%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EMarked%20checks%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%3Cspan%20class%3D%22w6-score%22%3E%7Bchecks_score%7D%3C%2Fspan%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3ELayer%20you%20built%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bflops%20%2F%201e9%3A%2C.2f%7D%20GFLOPs%20for%20one%20forward%20pass%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EBudget%20you%20left%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bparams%20%2F%201e9%3A%2C.2f%7DB%20parameters%20needing%20%7Btotal_gb%3A.1f%7D%20GB%20on%20a%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7Bbudget_gb%3A.0f%7D%20GB%20device%2C%20which%20%7B'fits'%20if%20fits%20else%20'does%20not%20fit'%7D.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Activations%20%7Bact_gb%3A.1f%7D%20GB%2C%20optimiser%20state%20%7Bopt_gb%3A.1f%7D%20GB%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EFirst%20experiment%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_what.get(decision_choice%2C%20decision_choice)%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EReasoning%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%20quote%22%3E%7Bdecision_why%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EWhat%20you%20would%20measure%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%20quote%22%3E%7Btakeaway_text%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_rows%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(done%2C%20get_given%2C%20locked%2C%20mo%2C%20pick%2C%20saved%2C%20set_given)%3A%0A%20%20%20%20_%20%3D%20done%0A%20%20%20%20QUIZ%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22A%20run%20fails%20with%20%60CUDA%20out%20of%20memory%60.%20What%20does%20that%20tell%20you%20about%20where%20the%20%22%0A%20%20%20%20%20%20%20%20%20%22problem%20originated%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%7B%22It%20is%20a%20hardware%20limitation%2C%20since%20the%20error%20came%20from%20the%20device%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22Nothing%20on%20its%20own.%20The%20allocator%20is%20where%20it%20surfaced%3B%20the%20cause%20could%20be%20at%20any%20layer%20above%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22It%20is%20in%20the%20kernels%2C%20since%20they%20request%20the%20allocations%22%3A%20%22c%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%22b%22)%2C%0A%20%20%20%20%20%20%20%20(%22Which%20of%20the%20five%20memory%20terms%20is%20determined%20by%20how%20you%20run%20the%20model%20rather%20than%20by%20%22%0A%20%20%20%20%20%20%20%20%20%22what%20the%20model%20is%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%7B%22Parameters%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22Optimiser%20state%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22Saved%20activations%22%3A%20%22c%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%22c%22)%2C%0A%20%20%20%20%20%20%20%20(%22Memory%20climbs%20a%20little%20on%20every%20iteration%20until%20the%20run%20dies.%20What%20does%20that%20pattern%20%22%0A%20%20%20%20%20%20%20%20%20%22point%20at%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%7B%22A%20batch%20size%20slightly%20too%20large%20for%20the%20device%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22Something%20retained%20across%20steps%2C%20such%20as%20a%20loss%20accumulated%20without%20detaching%20it%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22Adam%20allocating%20more%20state%20as%20training%20proceeds%22%3A%20%22c%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%22b%22)%2C%0A%20%20%20%20%5D%0A%20%20%20%20_saved%20%3D%20saved.get(%22quiz%22)%20or%20%7B%7D%0A%20%20%20%20_given%20%3D%20get_given()%0A%0A%20%20%20%20def%20_lock(n)%3A%0A%20%20%20%20%20%20%20%20def%20handler(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_k%20%3D%20%22quiz%22%20%2B%20str(n)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20value%20is%20not%20None%20and%20get_given().get(_k%2C%20_saved.get(str(n)))%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20set_given(lambda%20d%3A%20dict(d%2C%20**%7B_k%3A%20value%7D))%0A%20%20%20%20%20%20%20%20return%20handler%0A%0A%20%20%20%20quiz%20%3D%20mo.ui.array(%5B%0A%20%20%20%20%20%20%20%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%20%20%20%20options%3D_options%2C%20label%3Df%22**%7B_n%7D.**%20%7B_question%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3Dpick(_options%2C%20_given.get(%22quiz%22%20%2B%20str(_n)%2C%20_saved.get(str(_n))))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%20or%20_given.get(%22quiz%22%20%2B%20str(_n)%2C%20_saved.get(str(_n)))%20is%20not%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20on_change%3D_lock(_n)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20for%20_n%2C%20(_question%2C%20_options%2C%20_right)%20in%20enumerate(QUIZ%2C%201)%0A%20%20%20%20%5D)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Quiz%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%22Three%20questions%2C%20one%20answer%20each%2C%20marked%20when%20you%20submit.%22)%2C%0A%20%20%20%20%20%20%20%20*%5Bquiz%5B_i%5D%20for%20_i%20in%20range(len(QUIZ))%5D%2C%0A%20%20%20%20%5D%2C%20gap%3D1)%0A%20%20%20%20return%20QUIZ%2C%20quiz%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(CHECKS%2C%20QUIZ%2C%20checks_right%2C%20lab_sync%2C%20quiz)%3A%0A%20%20%20%20_quiz_right%20%3D%20sum(v%20%3D%3D%20q%5B2%5D%20for%20q%2C%20v%20in%20zip(QUIZ%2C%20quiz.value))%0A%20%20%20%20quiz_score%20%3D%20f%22%7B_quiz_right%7D%2F%7Blen(QUIZ)%7D%22%0A%20%20%20%20auto_score%20%3D%20f%22%7Bchecks_right%20%2B%20_quiz_right%7D%2F%7Blen(CHECKS)%20%2B%20len(QUIZ)%7D%22%0A%20%20%20%20if%20lab_sync%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20lab_sync.record_once(**%7Bstr(n)%3A%20v%20for%20n%2C%20v%20in%20enumerate(quiz.value%2C%201)%7D)%0A%20%20%20%20%20%20%20%20lab_sync.record(quiz%3D%7Bstr(n)%3A%20v%20for%20n%2C%20v%20in%20enumerate(quiz.value%2C%201)%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20quiz_score%3Dquiz_score%2C%20auto_score%3Dauto_score)%0A%20%20%20%20return%20auto_score%2C%20quiz_score%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(done%2C%20locked%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20done%0A%20%20%20%20%23%20Handing%20in%20cannot%20be%20undone%2C%20so%20it%20takes%20a%20tick%20as%20well%20as%20a%20press.%0A%20%20%20%20confirm%20%3D%20mo.ui.checkbox(%0A%20%20%20%20%20%20%20%20label%3D%22I%20have%20read%20my%20answers%20back%20and%20I%20know%20they%20cannot%20be%20changed%20after%20this%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(confirm%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(confirm%2C%20done%2C%20lab_sync%2C%20locked%2C%20mo%2C%20quiz)%3A%0A%20%20%20%20_%20%3D%20done%0A%20%20%20%20_unanswered%20%3D%20sum(v%20is%20None%20for%20v%20in%20quiz.value)%0A%20%20%20%20submit_button%20%3D%20mo.ui.run_button(%0A%20%20%20%20%20%20%20%20label%3D%22Submit%20my%20work%22%2C%0A%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlab_sync%20is%20None%20or%20locked%20or%20_unanswered%20%3E%200%0A%20%20%20%20%20%20%20%20or%20not%20confirm.value%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%22Send%20your%20answers%20to%20your%20instructor%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Submit%20your%20work%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Everything%20has%20been%20saving%20as%20you%20went.%20Handing%20in%20is%20the%20last%20step%20and%20it%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22final%3A%20once%20the%20lab%20is%20in%2C%20nothing%20on%20this%20page%20can%20be%20changed%2C%20the%20written%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22answers%20included.%20Read%20back%20through%20them%20first.%20If%20you%20hand%20in%20by%20mistake%2C%20ask%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22your%20instructor%20to%20reopen%20the%20lab%20for%20you.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(f%22%20**Answer%20the%20%7B_unanswered%7D%20quiz%20question%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B's'%20if%20_unanswered%20%3E%201%20else%20''%7D%20above%20first.**%22%20if%20_unanswered%20else%20%22%22)%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20confirm%2C%0A%20%20%20%20%20%20%20%20submit_button%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20(submit_button%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(%0A%20%20%20%20auto_score%2C%0A%20%20%20%20lab_status%2C%0A%20%20%20%20lab_sync%2C%0A%20%20%20%20locked%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20quiz_score%2C%0A%20%20%20%20reflect_form%2C%0A%20%20%20%20saved%2C%0A%20%20%20%20submit_button%2C%0A)%3A%0A%20%20%20%20%23%20Runs%20when%20the%20button%20is%20pressed%2C%20and%20otherwise%20just%20says%20where%20things%20stand.%0A%20%20%20%20if%20lab_sync%20is%20None%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22This%20copy%20of%20the%20lab%20is%20not%20connected%20to%20the%20course%20site%2C%20so%20it%20cannot%20be%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22submitted%20from%20here.%22%2C%20%22neutral%22)%0A%20%20%20%20elif%20submit_button.value%3A%0A%20%20%20%20%20%20%20%20_reply%20%3D%20await%20lab_sync.submit(%0A%20%20%20%20%20%20%20%20%20%20%20%20reflection%3Dreflect_form.value%20or%20saved.get(%22reflection%22)%2C%20finished%3DTrue)%0A%20%20%20%20%20%20%20%20if%20_reply.get(%22ok%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(f%22**Submitted.**%20Your%20instructor%20can%20see%20your%20work.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Quiz%3A%20**%7Bquiz_score%7D**.%20Marked%20answers%20overall%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bauto_score%7D**.%20That%20is%20the%20lab%20in%2C%20so%20nothing%20on%20this%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22page%20is%20saved%20from%20here%20on.%22%2C%20%22success%22)%0A%20%20%20%20%20%20%20%20elif%20_reply.get(%22submitted%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22**Already%20handed%20in.**%20This%20lab%20went%20in%20earlier%2C%20so%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22answers%20can%20no%20longer%20be%20changed.%22%2C%20%22warn%22)%0A%20%20%20%20%20%20%20%20elif%20_reply.get(%22locked%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22**Not%20submitted.**%20Your%20instructor%20has%20locked%20this%20lab.%22%2C%20%22danger%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Not%20submitted%3A**%20%7B_reply.get('error'%2C%20'something%20went%20wrong')%7D.%20Your%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22answers%20are%20still%20saved.%20Press%20**Submit%20my%20work**%20to%20try%20again.%22%2C%20%22danger%22)%0A%20%20%20%20elif%20lab_sync.last_submitted%20or%20lab_status.get(%22submitted%22)%3A%0A%20%20%20%20%20%20%20%20_when%20%3D%20str(lab_sync.last_submitted%20or%20lab_status.get(%22submittedAt%22)%20or%20%22%22)%5B%3A10%5D%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Submitted%20on%20%7B_when%7D.**%20Your%20answers%20are%20saved%20exactly%20as%20they%20were%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cannot%20be%20changed%20now.%20If%20you%20need%20another%20go%20at%20it%2C%20ask%20your%20instructor%20to%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22reopen%20the%20lab.%22%2C%20%22success%22)%0A%20%20%20%20elif%20locked%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22Your%20instructor%20has%20locked%20this%20lab%2C%20so%20it%20can%20no%20longer%20be%20submitted.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22warn%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22**Not%20submitted%20yet.**%20Press%20**Submit%20my%20work**%20when%20you%20are%20done.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22warn%22)%0A%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A