Hello everyone. I'm new to these forums

I have a few problems with my search engine spider:
1) It indexes script language
2) It sometimes indexes nothing
3) it cant resolve domains and directorys problem, it index stuff like "http://./index.php"
4) It cant read robots.txt file

The spider code is:
PHP Code:
<?php
include "../commonfuncs.php";
include 
"../config.php";
include 
"../connect.php";
$content="dummy";
$des="dummy";
$title="dummy";
$file="dummy";
$reindex=1;
$number=1;

function 
start()
{
print 
"Started at " date("H:i:s")."<br>";
set_time_limit (0);
error_reporting (E_ALL E_NOTICE E_WARNING);
//error_reporting (E_ALL); //debugging purposes
}

  
function 
unique_array($filee
    {
    global 
$min_word_length;
    global 
$word_upper_bound;
    global 
$content;
    global 
$des;
    global 
$title;
    global 
$wordscount;
    
$retarr = array ();
    
$filee=str_replace("\n"" "$filee);
    
$pieces explode (" "$filee);
    for (
$i=0;$i>count($pieces)+1;$i++)
        {
        if(
strlen($pieces[$i]) >= $min_word_length)
            {
            
$pieces[$i]=remove_accents($pieces[$i]);
            
$pieces[$i]=strtolower($pieces[$i]);
            
$pieces[$i]=str_replace(","""$pieces[$i]);
            
$pieces[$i]=str_replace(" """$pieces[$i]);
            }
        else
            {
            
$pieces[$i]="";
            }
        }
        
$wordscount=count($pieces);
        
array_unique($pieces);
        return 
$pieces;
    }
  
function 
crawlpage($id)
{
$time_start microtime();
global 
$time_start;
global 
$content;
global 
$des;
global 
$reindex;
global 
$wordscount;
global 
$weight;
global 
$md5sum;
global 
$url;
global 
$linksarray;
global 
$title;
global 
$title;
global 
$number;
$url="";
$sql "SELECT address FROM `content` WHERE `id` = ".$id;
$result mysql_query($sql) or die(mysql_error());
 while (
$row mysql_fetch_array($resultMYSQL_ASSOC)) {
        
$url=$row['address'];
    }
$url=str_replace("\\""//"$url);

if(
substr($url, -1)!="/")
{
$adar=explode ("/"$url);
$pos strrpos($adar[(count($adar)-1)], ".");
if (
$pos === false) { 
$nothing="dummy";
$full_url=implode("/"$adar)."/";
}
else
{
$adar[(count($adar)-1)]="";
$full_url=implode("/"$adar);
}
}
else
{
$full_url=$url;
}
//echo $full_url;
$file=file_get_contents($url);
$title="";
$des="";
preg_replace_callback("!href=\"(.*?)\"!is""savetoarray"$file);
preg_replace_callback("!src=\"(.*?)\"!is""savetoarray"$file);
preg_replace_callback("!<title>(.*?)</title>!is""savetoarray2"$file);
preg_replace_callback("!<meta name=\"description\" content=\"(.*?)>!is""savetoarray3"$file);
$pattern "!<(.*?)>!is";
$replace "";
$file preg_replace($pattern$replace$file); 
$pattern "!<script(.*?)</script>!is";
$replace "";
$file preg_replace($pattern$replace$file); 
$dessubstr($file0360).".....";
$content=implode(","unique_array($file));
$content=str_replace(",,"""$content);
$content=str_replace("."""$content);
$content=str_replace(", """$content);
$content=str_replace(" ,"""$content);
$content=str_replace(" , """$content);
$content=str_replace(", ,"""$content);
$content=str_replace(" """$content);
$content=str_replace("update"""$content);
$content=str_replace("set"""$content);
$content=str_replace("limit"""$content);

// Just look. This is a little reminder... Page contents are now in $content; $des holds description (No description, maintain old(signup??))
// links in $linksarray... Check extensions, and add to good ones to the db... To be crawled later on... :D Page title in $title $url 

for($n=1;$n<100;$n++)
{
$linksarray[$n]=str_replace("\\""//"$linksarray[$n]);
$linksarray[$n]=str_replace("//""/"$linksarray[$n]);
$linksarray[$n]=str_replace("///""/"$linksarray[$n]);
$linksarray[$n]=str_replace("\\\\""\\"$linksarray[$n]);
$linksarray[$n]=str_replace("http:/""http://"$linksarray[$n]);
$linksarray[$n]=str_replace("https:/""https://"$linksarray[$n]);
$linksarray[$n]=str_replace("http://http://""http://"$linksarray[$n]);
$linksarray[$n]=str_replace("https://https://""https://"$linksarray[$n]);
$linksarray[$n]=str_replace("http://http://""http://"$linksarray[$n]);
$d=substr($linksarray[$n], -3);
if(
$d=="gif" || $d=="png" || $d=="bmp" || $d=="tif" || $d=="zip" || $d==".gz" || $d==".bz" || $d=="tar" || $d=="pdf" || $d=="ttf" || $d=="rar" || $d=="exe" || $d=="jpg" || $d=="css" || $d==".js" || $d=="ico" || $d=="swf")
{
$linksarray[$n]="";
}
if(
substr($linksarray[$n], 5)=="mail:" || substr($linksarray[$n], 11)=="javascript:" || substr($linksarray[$n], 4)=="ftp:")
{
$linksarray[$n]="";
}
if(
substr($linksarray[$n], 01)=="#")
{
$linksarray[$n]="";
}
if(
substr($linksarray[$n], 01)=="?")
{
$linksarray[$n]="";
}
if(
substr($linksarray[$n], 05)!="http:" && substr($linksarray[$n], 05)!="https")
{
if(
$linksarray[$n]!="")
{
$linksarray[$n]=$full_url.$linksarray[$n];
}
}
if(
$linksarray[$n]!="")
{
$result mysql_query("SELECT COUNT(*) AS rows FROM content WHERE `address` = '".$linksarray[$n]."'") or die(mysql_error()); 
$row mysql_fetch_array($result);  
//echo $row['rows'];
if($row['rows']>0)
{
$ok="dummy";
}
else
{
$sql2 "INSERT INTO `content` (`id`, `description`, `title`, `weight`, `address`, `content`) VALUES ('', '', 'TITLE MISSING', '0', '".$linksarray[$n]."', 'no,contents')";
//echo $sql2; //debug puposes
mysql_query($sql2) or die(mysql_error());
//echo $linksarray[$n]."<br>"; //debug purposes
}
}
}

// calc_weight($wordscount,(count($adar))
$adar=explode ("/"$url);
$weight=calc_weight($wordscount,count($adar));
$des=mysql_escape_string($des);
$url=mysql_escape_string($url);
$content=mysql_escape_string($content);
$sql "UPDATE `content` SET ";
if(
$des!="dummy")
{
$sql.="`description` = '$des', ";
}
if(
$title==""){$title="TITLE MISSING";}
$sql.="`address` = \"$url\", `title` = \"$title\", `weight` = \"$weight\", `content` = \"$content\" WHERE `id` = ".$id;
//echo $sql; //debugging
mysql_query($sql) or die(mysql_error());
$time_end microtime();
$time $time_end $time_start;
$time=number_format($time,3);
echo 
"Spider took: ".$time." second(s) for page with id: $id<br>";
}
start();
for(
$o=1;$o<(recordtotal()+1);$o++)
{
crawlpage($o);
print_r($linksarray);
while (
array_pop($linksarray)!=null
{
echo 
"";
}
}
print 
"Completed at " date("H:i:s");
?>
Thanks in advance.