西班牙团队用DALL-E生成老照片，正探索联用“回忆疗法”治疗痴呆症患者
source link: https://www.mittrchina.com/news/detail/13203
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
麻省理工科技评论-西班牙团队用DALL-E生成老照片，正探索联用“回忆疗法”治疗痴呆症患者
20 世纪 40 年代，玛丽亚在西班牙巴塞罗度过了一段童年时光。她对父亲的记忆仍历历在目。
六岁的时候，当玛丽亚想见父亲时，就会去同一栋楼里的邻居家。因为她可以透过那里的阳台栏杆看到下面的监狱，并通过牢房的小窗户瞥见父亲。她的父亲因反对当时的政府而被关在那里。
这段阳台上的记忆并没有照片，但现在玛丽亚可以获得相似的东西：一张“假照片”。在巴塞罗那 Domestic Data Streamers（DDS）设计工作室看来，这是“基于记忆的重建”，也就是重建真实照片可能捕捉到的、记忆中的那个场景。
假照片是模糊而扭曲的，但它们仍然可以让人瞬间穿越回记忆中的那个时刻。
“你很容易分辨出对记忆的还原是否准确，因为这是一种发自内心的反应。” DDS 工作室的创始人保罗·加西亚（Pau Garcia）说，“这种情况每次都会发生。人们的反应是，‘啊！是的！就是这样！’”
目前，DDS 工作室运营的“合成记忆”项目，已经将数十人的记忆以这种方式转化为图片。该工作室使用了图像生成模型，如 OpenAI 的 DALL-E，将人们的记忆具象化。
自 2022 年以来，该工作室获得了联合国和谷歌的资助，一直在与世界各地的移民和难民社区合作，将那些从未被拍摄过的场景转化为图像，或为那些背井离乡的人重塑早已遗失的老照片。
现在，DDS 工作室正在接管巴塞罗那设计博物馆旁边的一座建筑，用合成图像记录人们对这座城市的记忆。加西亚说，任何人都可以参与，为不断壮大的档案贡献记忆。
合成记忆可能不仅仅是一种社会或文化努力。2024 年夏天，该工作室将开始与研究人员合作，研究其技术是否可以用于治疗痴呆症。
令人难忘的涂鸦
该项目的想法来自加西亚 2014 年的一次经历，当时他在希腊与一个组织合作，该组织正在重新安置叙利亚难民家庭。
一名妇女告诉他，她并不害怕成为难民，但她害怕她的子孙后代成为难民，因为他们可能会忘记自己的家族历史：他们在哪里购物，穿什么衣服，如何穿这些衣服。
加西亚让志愿者在这些家庭居住的大楼墙上涂鸦，画下这名妇女的记忆。“那些涂鸦很糟糕，但合成记忆的想法诞生了。”他说。
几年后，当加西亚看到图像生成模型可以做什么时，他想起了那些涂鸦：“这是我最先想到的事情。”
加西亚和他的团队采用的流程很简单。他们与受访者坐下来，让后者回忆特定的场景或事件。一位提示工程师根据回忆为模型编写提示（prompt），从而生成图像。
他的团队已经建立了一套提示术语词汇表，这些词汇经过了验证，适用于唤起不同历史时期和不同地点的记忆。
但加西亚说，提示经常要反复调整：“你把生成的图像展示给受访者，他们可能会说，‘哦，椅子在另一边’或者‘是在晚上，而不是白天。’然后你要不断修改提示，直到它与受访者的记忆一致。”
到目前为止，DDS 工作室已经使用这项技术来保存各种移民社区的记忆，包括居住在巴西圣保罗的韩国、玻利维亚和阿根廷家庭。
同时，它还与巴塞罗那的一家养老院合作，研究这种记忆重建技术如何帮助老年人。
该团队与巴塞罗那的研究人员合作，进行了一项由 12 名受试者组成的小型试验，将这种方法应用于回忆疗法。这是一种治疗痴呆症的方法，旨在通过向某人展示过去的图像来刺激认知能力。
回忆疗法发展于 20 世纪 60 年代，有许多支持者，但研究人员对其有效性和实施方法意见不一。
加西亚说，这种试点项目使团队能够完善流程，并确保参与者能够签署知情同意书。
研究人员计划在 2024 年夏天与加拿大多伦多大学的同事一起进行一项更大规模的临床研究，将采用图像生成模型的疗法与其他治疗方法进行比较。
他们在试点中发现的一件事是，如果将图像打印出来，老年人与图像建立的联系会更好。
加西亚说：“当他们在屏幕上看到图片时，无法建立同样的情感联系。但当他们能亲眼看到它时，记忆就变得更加重要了。”
模糊反而更好
研究人员还发现，旧版的图像生成模型比新版的效果更好。他们在项目之初使用了 2022 年推出的两个模型：DALL-E 2 和 Stable Diffusion。后者是 Stability AI 发布的一个免费的图像生成模型。
这些模型生成的图像有缺陷，包括怪异的脸和扭曲的身体。但当他们切换到最新版的 Midjourney （另一种可以创建更细致图像的模型）时，结果并没有那么受欢迎。
加西亚说：“如果你制作的东西非常逼真，人们就会关注那些不存在的细节。相反，如果它很模糊，记忆重建的概念会更好理解。
记忆有点像梦，它们不是照片，没有细致入微的细节。你可能不记得椅子是红色还是绿色的，只记得有一把椅子。”
从那以后，该团队又开始使用旧版模型。加西亚说：“对我们来说，瑕疵是一个特点。
有时候，一些事物可能存在（于记忆中），也可能不存在。这就是图片中的量子态，与记忆的特征非常吻合。”
没有参与这项工作的独立电影制作人萨姆·劳顿（Sam Lawton）对这个项目感到兴奋。令他特别高兴的是，该团队将在一项严格的临床研究中研究这些图像的认知影响。
劳顿曾使用图像生成模型来重新创造自己的记忆。在他 2023 年拍摄的一部名为《扩展的童年》（Expanded Childhood）的电影中，他使用 DALL-E 将旧的家庭照片扩展到场景之外，用超现实的场景模糊了真实的童年场景。
劳顿说：“接触这种生成的图像对人类大脑产生的影响，正是促使我拍摄这部电影的原因。我无法展开全面的研究工作，所以我转向了对我来说最自然的故事叙述方式。”
劳顿的工作讨论了许多问题：长期暴露在人工智能生成或更改的图像中，会对我们产生什么影响？
这样的图像能帮助重建创伤记忆吗？还是它们制造了一种虚假的现实感，从而导致混乱和认知失调？
劳顿向他的父亲展示了《扩展的童年》中的照片，并在电影中添加了他的评论：“我觉得有些问题，但不知道是什么。难道是我不记得了吗？”
加西亚知道混淆主观记忆与真实的摄影记录的危险。他说，其团队完成的基于记忆的重建工作并不是“记录事实的文件”。
事实上，他指出，这是坚持使用旧版图像生成模型，来生成不太真实的图像的另一个原因。
加西亚说：“人们能非常清楚地区分什么是合成记忆，什么是真实照片，这一点很重要。这是一个简单的区分方式。”
但加西亚现在担心，这些模型背后的公司可能会下架老版模型。大多数用户期待更大更好的模型。对于合成记忆来说，（细节）越少越好。
他说：“我真的很害怕 OpenAI 会关闭 DALL-E 2，我们将不得不使用 DALL-E 3。”
支持：Ren
运营/排版：何晨龙
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK