这个成语来源于《吕氏春秋。察今》，楚人有涉江者，其剑自舟中坠于水，遽契其舟曰：是吾剑之所从坠。舟止，从其所契者入水求之。

战国时，楚国有个人坐船渡江。船到江心，他一不小心，把随身携带的一把宝剑掉落江中。他赶紧去抓，已经来不及了。

船上的人对此感到非常惋惜，但那楚人似乎胸有成竹，马上掏出一把小刀，在船舷上刻上一个记号，并向大家说：这是我宝剑落水的地方，所以我要刻上一个记号。

大家都不理解他为什么这样做，也不再去问他。

船靠岸后那楚人立即在船上刻记号的地方下水，去捞取掉落的宝剑。捞了半天，不见宝剑的影子。他觉得很奇怪，自言自语说：我的宝剑不就是在这里掉下去吗？我还在这里刻了记号呢，怎么会找不到的呢？

至此，船上的人纷纷大笑起来，说：船一直在行进，而你的宝剑却沉入了水底不动，你怎么找得到你的剑呢？

其实，剑掉落在江中后，船继续行驶，而宝剑却不会再移动。像他这样去找剑，真是太愚蠢可笑了。

《吕氏春秋》的作者也在写完这个故事后评论说这个，刻舟求剑的人是太愚蠢可笑了！