上古卷轴5画面上的是啥

通过 fMRI 将大脑中的画面重现出来的原理是什么?
利用fMRI信号重建视觉场景,是一种对神经活动的解码,本质上是神经编码的一个逆问题。 顺便说一句,题主将问题做了变动,实际上原标题更确切。因为论文的工作是用fMRI信号重建受试者看过的视频。新标题中中“大脑中浮现的画面”也可以理解为在不看视频的情况下想象出来画面,如是与原文工作有所出入;另外,在这种条件下用fMRI信号反推“浮现”的画面,具有更大的挑战性。基于大脑反应重建视觉刺激(图像或者视频)的研究并不新鲜,而且也不局限于用fMRI信号重建。Yang Dan 博士(现在UC Berkeley)在上个世纪90年代就用神经元的放电活动重建视觉场景(文献[1-3])。因为没有对神经解码类课题的一手研究经验,而且很长时间不看这方面的文献了,只能依据一点初浅理解对题主的问题做个概略性的回答。欢迎批评指正。1. 视觉神经通路编码和fMRI信号的产生虽然从技术角度并非必须(文献[4]),了解视觉神经编码和fMRI信号的产生原理,可以帮助理解为什么可以用fMRI信号重建视觉场景。视觉神经编码的基础知识在任何一本基础性的神经生物学都有介绍。关于编码:(1)从眼球的后壁视网膜开始,到外侧膝状体 (LGN),到初级视觉皮层 (V1),到后面分化的视觉通路上(腹侧-ventral和背侧-dorsal pathway),视觉神经细胞对视觉场景的各种视觉信息特征(大小,形状,颜色,运动速度,空间位置等)的编码逐级分化 (图1)。(2)现在广泛接受的编码理论是视觉神经细胞用放电活动频率表征视觉信息特征。例如初级视觉皮层的一个神经细胞对某个空间位置上垂直方向的线条产生强烈放电(e.g., 50 spikes/second),对其他位置和水平方向的线条放电频率则大幅下降(e.g., 6 spikes/second),甚至不放电。(3)类似功能的神经元分布在相邻的区域,例如早期视觉皮层的功能柱。Hubel 和Wiesel博士在50年代开始对(2)和(3)的开创性的系统研究为他们赢得了1981年诺贝尔奖。(4)Population coding的概念[文献6]:不同区域的视觉皮层中大量神经细胞在同一时刻的反应构成某种特定的放电模式从而表征视觉场景,这种模式可能与表征过去场景的历史模式有某种关系。图1,视觉神经通路 (Strand-Brodd K et al. 2011)关于fMRI信号:(1)虽然具体的量化关系没有定论,fMRI信号的强弱与神经放电的强弱正相关[7]。(2)一个fMRI 像素表征三位空间的一个小区域内(1个立方毫米量级)大量神经元的放电活动,还好如前面提到,这个空间内的神经元的功能比较类似。(3)相对单个神经元的放电活动信号,fMRI信号在时间有延迟(1-10秒)。2. 神经解码有了上面的信息,理论上当我们理解了每个神经细胞的放电活动,可以根据足够多的数据完全重现对应的视觉场景。如果我们进一步知道fMRI信号与神经放电活动的数量关系,我们也可以利用fMRI信号精确重建对应的视觉场景。具体实施的时候,也不必理解中间编码的具体过程。根本问题变成求解视觉刺激与脑活动信号(fMRI、脑电、多电极纪录的单个神经元放电等信号)之间的关系。数学上,视觉刺激可以用一个矩阵描述V,脑电信号可以用一个矩阵描述B,中间联系他们的是一个传递函数T,同样用一个矩阵表示。他们之间的关系可以表达为VT=B。如果先通过测量对应一系列的视觉刺激Vi (i=1, ..., N)的脑活动Bi (i=1, ..., N) 可以求出传递函数T,那么在已知B的情况下,可以求出对应的V。文献[3]中论述了这几个矩阵之间的关系,[4]是一个很好的综述,文献[5]是一个具体的应用实例。图2,视觉刺激和脑活动fMRI信号的对应关系(Naselaris et al., 2011)补充一下用电极记录的神经放电活动重建视觉场景的研究。第一行和第三行的是视觉刺激,第二行和第四行是相应的重建结果。图3,利用LGN 神经放电信号重建视觉场景(Stanley GB, Li FF, Dan Y 1999)神经解码的困难:因为原理和技术的限制,精确地实现神经解码是非常困难。第一个问题是我们对神经编码的理解还十分有限,因而导致我们的测量和建模未必能抓住最核心的参数。第二个困难源于数据采集技术带来的信息局限性。基于不同技术在数据采集精度和对神经系统损伤程度的考虑,现在能获取的数据在时间和空间分辨率都非常有限。第三个挑战是作为编码的逆问题,解码通常是一个病态问题。在有限精度下,两幅场景对应的神经放电模式/fMRI图像可能几乎一致,从而当你看到一幅fMRI的模式,你不能确定反推出到底哪幅图像是本来的刺激图像。在这种情况下,你无法实现视觉场景重建。3. 几篇关键文献1)基于LGN神经放电活动的视觉场景重建 (Dr. Dan的工作让我首次了解到神经信号解码的问题):[1]Dan Y, Atick JJ, Reid RC (1996) Efficient coding of natural scenes in the lateral geniculate nucleus: experimental test of a computational theory. J Neurosci 16:.[2]Dan Y, Alonso J-M, Usrey WM, Reid RC (1998) Coding of visual information by precisely correlated spikes in the LGN. Nat Neurosci 1:501–507.[3]Stanley GB, Li FF, Dan Y (1999) Reconstruction of Natural Scenes from Ensemble Responses in the Lateral Geniculate Nucleus. The Journal of Neuroscience 19(18): .2)fMRI信号解码原理及应用[4]Naselaris et al. (2011) Encoding and decoding in fMRI. NeuroImage 56 (0. (综述)[5]Shinji Nishimoto, An T. Vu, Thomas Naselaris, Yuval Benjamini, Bin Yu & Jack L. Gallant (2011) Reconstructing Visual Experiences from Brain Activity Evoked by Natural Movies. Current Biology. (应用,按照作者说法可以看看这片文章的价值:This paper presents the first successful approach for reconstructing passively viewed natural movies from brain activity measured by fMRI.)3)population coding[6]Alexandre Pouget, Peter Dayan, and Richard S. Zemel (2003) INFERENCE AND COMPUTATION WITH POPULATION CODES. Annual Review of Neuroscience 26: 381-410.4)fMRI和神经放电活动的关系[7]Logothetis et al. (2001) Neurophysiological investigation of the basis of the fMRI signal, Nature 412, 150-157.
来源:知乎
【知乎日报】千万用户的选择,做朋友圈里的新鲜事分享大牛。
此问题还有
延伸阅读:
您将要订阅:
知乎每日精选
一个人大脑中从未分享过的知识、经验、见解和判断力,总是另一群人非常想知道的东西。知乎的使命是把人们大脑里的知识、经验、见解搬上互联网,让彼此更好的连接。
【上一篇】:
【下一篇】:
相关文章:
猜你喜欢:
用微信扫描二维码分享至好友/朋友圈更多频道内容在这里查看
爱奇艺用户将能永久保存播放记录
过滤短视频
暂无长视频(电视剧、纪录片、动漫、综艺、电影)播放记录,
使用您的微博帐号登录,即刻尊享微博用户专属服务。
使用您的QQ帐号登录,即刻尊享QQ用户专属服务。
使用您的人人帐号登录,即刻尊享人人用户专属服务。
按住视频可进行拖动
把视频贴到Blog或BBS
当前浏览器仅支持手动复制代码
视频地址:
flash地址:
html代码:
通用代码:
通用代码可同时支持电脑和移动设备的分享播放
收藏成功,可进入查看所有收藏列表
方式1:用手机看
用爱奇艺APP或微信扫一扫,在手机上继续观看:
龙卷风的里面是什么样子?坦克车冲进内部画面让人惊呆
方式2:一键下载至手机
限爱奇艺安卓6.0以上版本
使用微信扫一扫,扫描左侧二维码,下载爱奇艺移动APP
其他安装方式:手机浏览器输入短链接http://71.am/164eL4
下载安装包到本机:&&
设备搜寻中...
请确保您要连接的设备(仅限安卓)登录了同一爱奇艺账号 且安装并开启不低于V6.0以上版本的爱奇艺客户端
连接失败!
请确保您要连接的设备(仅限安卓)登录了同一爱奇艺账号 且安装并开启不低于V6.0以上版本的爱奇艺客户端
部安卓(Android)设备,请点击进行选择
请您在手机端下载爱奇艺移动APP(仅支持安卓客户端)
使用微信扫一扫,下载爱奇艺移动APP
其他安装方式:手机浏览器输入短链接http://71.am/164eL4
下载安装包到本机:&&
爱奇艺云推送
请您在手机端登录爱奇艺移动APP(仅支持安卓客户端)
使用微信扫一扫,下载爱奇艺移动APP
180秒后更新
打开爱奇艺移动APP,点击“我的-扫一扫”,扫描左侧二维码进行登录
没有安装爱奇艺视频最新客户端?
爸爸去哪儿2游戏 立即参与
龙卷风的里面是什么样子?坦克车冲进内部画面让人惊呆
播放量数据:
5,628人已订阅
你可能还想订阅他们:
&正在加载...
您使用浏览器不支持直接复制的功能,建议您使用Ctrl+C或右键全选进行地址复制
安装爱奇艺视频客户端,
马上开始为您下载本片
5秒后自动消失
&li data-elem="tabtitle" data-seq="{{seq}}"& &a href="javascript:void(0);"& &span>{{start}}-{{end}}&/span& &/a& &/li&
&li data-downloadSelect-elem="item" data-downloadSelect-selected="false" data-downloadSelect-tvid="{{tvid}}"& &a href="javascript:void(0);"&{{pd}}&/a&
选择您要下载的《
色情低俗内容
血腥暴力内容
广告或欺诈内容
侵犯了我的权力
还可以输入
您使用浏览器不支持直接复制的功能,建议您使用Ctrl+C或右键全选进行地址复制第三方登录:三星Note3屏幕上方会出现类似“眼睛”的图标,是什么来的,可不可以清除?
什么时候出现这个图标的我自己也不清楚,也很疑惑怎么会有个这样的图标显示在屏幕上方,大神能帮我解决这个问题吗?
楼主,别急,小编现在就为你讲解一下“眼睛”的图标是什么来的,跟怎么取消“眼睛”图标
三星Note3手机屏幕上有个眼睛图标,这是由于开启了“智能屏幕”功能,利用手机前置摄像头的眼部智能识别技术,可以实现Smart stay智能休眠、智能旋转、智能滚动和智能暂停四大功能。
那么“眼睛”图片怎么取消呢?这个操作“难题”可能很多朋友都会遇到,小编向你文字解说下教程吧
在待机页面点选【应用程序】
滑动屏幕上点选【设定】
点选【控制】,然后选择【智能屏幕】关闭所有“勾选”后,“眼睛”图标就成功取消了
要回复问题请先或
Copyright & , All Rights Reserved}

我要回帖

更多关于 上古卷轴5画面mod 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信