将智能处理算法加载在网络视频服务器上，以形成智能视频服务器，网络视频监控系统急需智能化，对视频画面海量数据进行高速分析、处理与识别，将监控者不需要关注的信息过滤掉，仅提供人与物异常等的关键信息，一旦识别为异常，即触发启动录像，并进行报警。
使用视频服务器的网络视频系统，包括视频服务器、网络交换机和带视频管理软件的PC机。模拟摄像机连接到视频服务器，视频服务器会将视频信号数字化并进行压缩。视频服务器同时连接到网络，将数字视频信号通过网络交换机传送到PC，并将视频信号存储于PC机的硬盘中。它非常适用于与现存的模拟CCTV（闭路电视监控）系统相集成。并彻底消除了系统对于同轴电缆、模拟监视器和DVR等专用设备的依赖。DVR将不再成为实现录像功能的必需品，因为在视频服务器的帮助下，视频图像可以通过标准的PC服务器来进行录制和管理。
除了视频输入之外，视频服务器还可以通过同一个网络，连接实现其他更多的功能和传输更多的信息，其中包括：数字化报警输入和输出（I/O接口，可用于触发服务器启动录像功能和传输视频，或者激活外部报警设备如警灯或打开房门等）、音频、用于串行数据传输或PTZ设备控制的串行端口等。通过图像缓存，视频服务器还可以发送报警前后的图像。
智能网络视频服务器的网络视频系统拥有更好的系统弹性，相对模拟系统而言，可依靠视频服务器来连接本地的模拟摄像机，并可在通过网络对其视频流进行监控和存储前，对视频流进行智能分析、数字化、压缩。
智能网络视频服务器同网络摄像机一样，也算是网络视频监控系统的前端网络设备。因此，它除可嵌入前述的智能网络摄像机的一些智能功能外，还可相应嵌入一些较复杂软件算法的一些智能功能，如用于商业等应用的人群注意力及拥堵的检测、识别；用于公共场所的人与物异常行为的检测、识别(含翻越院墙与栅拦、持刀枪抡劫、杀人、绑架、遗留爆炸物等)；以及用于预防各种灾害的水灾、火灾、地震等的检测、识别等。这样，仅有通过移动侦测、人与物异常识别以及天灾人祸识别等各种智能功能的预/报警触发的视频数据，才会被传送到中央监控站，以用于进行进一步地分析，并采取进一步的响应，或可使用更为复杂的智能分析应用，以降低网络设备的负载并减少人为错误。
“分布式”的结构允许智能功能在前端设备实现，信息数据可在适当的时间被传送到中心服务器或指定的客户端(那些需要对特定事件进行管理的地方)。因此，只需要进行基本的配置，就可以搜集到特定的智能信息，使管理者更容易决定分派哪些具体的工作。随着各机构希望能增强他们的视频系统，不同类型的分布式智能应用可能会被组合到一起。而网络分布式智能拥有无限的扩展能力，未来的扩展就如同搭积木一样简单。