优化/自定义Sharepoint搜索爬网

使用SharePoint Server 2007,还有搜索功能和爬网程序.但是,Crawler在某种程度上受到限制,因为它只在爬网外部站点时支持Basic Auth,并且无法告诉它忽略无索引,无跟随属性.

现在,有一个网站我想索引,不幸的是这个网站使用它自己的身份验证系统,它使用无索引,不跟随页面.当我控制该站点时,我可以删除属性,但这是一个PITA.此外,它不解决身份验证问题.

所以我只是想知道是否有可能以某种方式扩展Sharepoint的Crawler？