保密行政管理部门对保密检查中发现的非法获取、持有的国家秘密载体，应当予以收缴。
这是根据《中华人民共和国保守国家秘密法》第四十五条的规定，收缴是防止国家秘密载体进一步失控而采取的强制性保护措施。保密行政管理部门在收缴过程中，应当进行登记并出具清单，查清密级、数量、来源、扩散范围等，并采取相应的保密措施。
此外，保密行政管理部门还可以提请公安、工商行政管理等有关部门协助收缴非法获取、持有的国家秘密载体，有关部门应当予以配合。
需要注意的是，收缴应当在保密检查中进行，实施收缴的主体是保密行政管理部门，收缴的对象是非法获取、持有的国家秘密载体，相对人有配合的法律义务。