ReLU_函数的定义和作用

ReLU(Rectified Linear Unit,修正线性单元)是深度学习中常用的一种激活函数。它的定义非常简单: 也就是说,ReLU 函数会将输入中的负值全部置为0,而正值保持不变。 ReLU 函数的图像如下: ReLU 函数的优点包括: 计算简单:ReLU 函数的计算非常简单,只需要比较输入值和0的大小。 梯度消失问题:相比于 sigmoid ...

阅读全文

深度学习中几种激活函数介绍

激活函数的发展经历了Sigmoid→Tanh→ReLU→Leaky ReLU等多种不同类型的激活函数及其改进结构,还有一个特殊的激活函数Softmax,它只会被用在网络中的最后一层,用来进行最后的分类和归一化。 Sigmoid激活函数Sigmoid函数常被用作神经网络的阈值函数,因为它在信息科学中具备单增以及反函数单增等性质,它可以将变量映射至0~1,其公式...

阅读全文

如何面对产品管理涉及的利益冲突

马克思有一句名言: “资本家害怕没有利润或利润太少,就像自然界害怕真空一样。一旦有适当的利润,资本就胆大起来。如果有10%的利润,它就保证到处被使用;有20%的利润,它就活跃起来;有50%的利润,它就铤而走险;为了100%的利润,它就敢践踏一切人间法律;有300%的利润,它就敢犯任何罪行,甚至冒绞死的危险。” 由此可见,利益面前人们的贪婪。 产品管理是...

阅读全文

从黄仁勋身上看中层管理

黄仁勋,英伟达(NVIDIA)的创始人兼首席执行官,他应该是当前这个AI时代绝对的热点人物。2022年英伟达的全球员工是18975人,到2023年员工数达到了22473人。那么,作为这么大一个公司的CEO,他管理的直接下属,或者说直接向他汇报的人有多少呢?答案是50人。 2023年11月30日,黄仁勋接受了CNBC采访时,主持人问他:“听说你直接管理的人是4...

阅读全文

做事一定要有清晰的目标,坚持到底

亲爱的女儿,你好: 今天爸爸要跟你说说做事设立目标的事情。我这里说的做“事”,指的是那些相对正式一点的、或者说需要长期努力完成的事情。比如考试成绩、减肥效果、学习一个技能等等。 我们在做这类事情的时候往往要花大量的精力和时间,而精力和时间对于我们来说是最宝贵的,尤其是时间,过去了就没有了。 所以,在做一件事情的时候,一定要问自己几个问题: 我做这件事是为什...

阅读全文

用“小行动”替代“大幻想”

亲爱的女儿,你好: 你有没有遇到过这样的事。某个人说:“我只是没努力,如果我努力了就一定能XXX。”“我只是没参加,如果我参加了一定能赢。”等等,类似说这样的话的人,或者抱有这样想法的人,最后他们说的那些事,都没有做成。这种情况很普遍,在心理学上讲是一种“自我保护防御机制”。它的核心逻辑是:通过强调“未付出努力”来维护“自己能力足够强”的积极自我认知,本质上...

阅读全文

选择没有绝对的答案,最后都是价值的衡量

女儿,你好: 今天是2025年6月14日,周六,外面下着雨。 今天上午你去上美术课,我接你回来的时候问了你一个问题:“假如给你一个亿或者是考上清华大学,你选择哪个?” 。你毫不犹豫地选择了一个亿,你说这种情况下当然是选一个亿了,考上清华也不一定能挣到一个亿,而且如果有一个亿可以做很多事,也可以继续考清华啊,但是如果只是选择上清华,再赚到一个亿就没那么容易了。...

阅读全文

拾穗集:写给我的乖乖刘一诺

亲爱的女儿,你好: 今天是2025年6月11日。今天你跟我说要写一本小说,问我怎么样,我觉得挺好啊。说到写书,我也想给你写一本书。写什么呢?我觉得,应该是包括我们平常生活中的一些趣事、爸爸看过的一些觉得挺好的书,还有我偶尔觉得一些有用的人生感悟。 我总觉得,也许多年以后把它给你看,或者我自己翻看,会是一件很有趣的事情。

阅读全文

成功是一种概率,我们提升自己是为了增加这种概率

亲爱的女儿,你好: 今天我想跟你说一下“努力”这回事。你可能经常听老师或者爸妈跟你说:“你要努力学习,将来就一定能考一个好成绩,上好的中学、高中、大学”等等。但是,是不是努力就一定能达到这样的目标呢?其实不一定。 按理说,为了鼓励你,爸爸应该跟你说,只要努力就一定能成功。但是,这个世界是复杂的,其实没有必然的“只要…就一定…”这样的事情。你一定看到过有的同学...

阅读全文

产品化要先解决项目管理的问题

最近处理一个产品管理的事情,作为顾问我大概用三周时间大致梳理了一下现在的情况。原打算是做一个软件系统的产品化,但是经过梳理之后我发现问题可能比想象中要复杂的多。 先说一下现状吧。现在团队大部分的业务是基于一个多年的大客户的多个项目,人员大概有将近 100人,项目也很多。但是经常发现各个项目组都加班开发,人员严重不足,这造成了客户大量的投诉。我通过参与的一两个...

阅读全文