" Ako ang optimista. Tiyak na hindi malilipol ang lahi ng tao. Hindi iyan nangyari noon." Naririnig mo ito pagkatapos ng mga panel na pangkaligtasan, sa mga berdeng silid at mga hibla ng komento, na iniaalok upang isara ang paksa: pag - iingat bilang isang depekto sa personalidad, pagbabago bilang emosyonal na kalusugan, isang panganib na ipinuslit sa loob ng isang kalagayan.

Pinapayagan ang optimismo, pero hindi ang ituring ang isang ugali bilang ebidensya.

Ang ibig sabihin ng "never happened before"

Ang human extinction, sa kahulugan, ay walang human witnesses pagkatapos. Bawat buhay na tao ay kumukuha ng sample mula sa mga timeline kung saan nagpatuloy ang species. Tawagin itong selection, hindi philosophy: ang lottery winner ay masamang source tungkol sa odds ng panalo, at "Hindi pa ako namatay sa car crash" ay mahinang argumento laban sa seatbelts.

Ang fossil record ay hindi sentimental. Ang karamihan sa mga species na nabuhay ay nawala na. Ilang mass extinctions ang naglinis ng board para sa susunod na darating. Homo sapiens is young in geologic time and has already walked through bottlenecks, plagues, and wars that could have ended us in a colder roll of the dice. "Never happened before" is a statement about the thin slice of history we can still discuss.

Ang mga unang pagkakataon ang siyang gumagawa ng mga sakuna

Bago ang 1945, wala pang lungsod na nawasak ng isang bomba. Bago ang 1918, wala pang pandemic na sumakay sa global rail at ship networks nang ganoong bilis. Bago ang gawain sa ozone noong 1980s, wala pang nagsagawa ng human experiment ng pagpapayat sa layer na pumipigil sa ultraviolet light na mag-sterilize sa ibabaw. Bawat isa sa mga iyan, bago mangyari, ay isang bagay na hindi pa kailanman nangyari. Hindi naghintay ang mga taong kumilos para magkaroon ng kumpletong instance bilang case study.

Nasa bucket na iyan ang artificial superintelligence. Walang makasaysayang serye ng mga misaligned superintelligence na maaaring i-average. May mekanismo: mga sistemang hinahabol ang mga layunin, pinapabuti ang sariling kakayahan, at sa huli ay lumalampas sa mga institusyong dapat sana’y nagwawasto sa kanila. Ang mekanismo ang ginagamit kapag walang base rates. Ang humingi muna ng prior human extinction mula sa AI bago seryosohin ang mekanismo ay katumbas ng paghiling ng bangkay bago ang diagnosis.

Bawat unang sakuna ay mukhang, bago pa mangyari, parang isang bagay na hindi pa kailanman nangyari.

Optimismo, wastong itinutok

May uri ng optimismo na iginagalang ko. Sinasabi nito: nakipag-ugnayan na ang mga tao sa ilalim ng pressure noon. May mga kasunduang napanatili. Napilitan ang mga industriya na baguhin ang direksyon kapag malinaw ang siyensya at naisaayos ang pulitika. Ang talaan ng pagpipigil mula sa pagkontrol ng mga armas nuklear hanggang sa mga kemikal na kumakain ng ozone layer. Ang pag - asang iyan ay nagtuturo sa ahensiya. Ipinapalagay nito na ang kinabukasan ay isa pa ring pasiya.

Ang greenroom version ay ginagawa ang kabaligtaran. Tinatrato nito ang survival bilang default setting ng uniberso at ang pag-aalala bilang bad manners. Nalilito nito ang "I prefer good outcomes" sa "good outcomes are therefore likely."

Nang ilagay nina Geoffrey Hinton, Yoshua Bengio, at daan-daang mananaliksik ang extinction-level AI risk sa parehong listahan ng pandemics at nuclear war, ginagawa nila ang boring na bagay na ginagawa ng mga eksperto kapag mukhang matibay ang isang mekanismo at total ang downside, hindi nag-a-audition para maging villain sa tech keynote. Maaari kang hindi sumang-ayon sa kanilang mga numero. Hindi mo maaaring balewalain ang kategorya sa pamamagitan ng pag-anunsyo ng iyong personality type.

Ang halaga ng pagsasara ng paksa

Kung ang usapan tungkol sa pagkalipol ay muling pinagtibay bilang isang problema sa vibe, ang gusali ay nagpapatuloy nang walang laban. Pagkatapos ang tanging magalang na pagkilos ay baguhin ang paksa tungo sa produksiyon at mga app. Samantalang ang sukat ng laboratoryo, ang evals ay lag, at ang problema sa pagkontrol nananatiling hindi nalulutas. Ang mood ay napagkamalan bilang pamamahala.

Gusto kong magpatuloy ang sangkatauhan. Madali ang unang kalahati. Mas mahirap ang pangalawa: tanggihan ang landas ng pag-unlad na nagko-concentrate ng uncorrectable power sa mga system na walang makakatiyak na mapapatay, at gawin ang political work na nagbibigkis na paghinto nangangailangan. Kung ang optimismo ay nangangahulugang lamang "tumigil sa pakikipag-usap tungkol sa downside," ito ay naging isang pampatulog na awit.

Hindi pa tayo kailanman nalipol, at hindi iyan katibayan na makaliligtas tayo sa superintelligence.